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Introducción 


En el mundo empresarial e industrial, el diseño e implementación de 
proyectos normalmente toma en cuenta el impacto económico, financiero 
y hasta el político o ambiental en la introducción de innovaciones. Sin 
embargo, en los primeros veinte años del siglo XXI, han sucedido diversos 
acontecimientos que han demostrado que la evaluación de impacto social 
en la generación de bienestar, es de vital importancia. 

De hecho, en los tiempos de la nueva normalidad que se avizora como 
la era PosCOVID-19, esto toma particular relevancia dado que todas las 
políticas y acciones que emitan empresas y gobiernos, deberán contar con 
el aval necesario de una evaluación de impacto social a la introducción 
de innovaciones. 

Es por esta razón, que la obra está orientada a describir tanto a 
propios como ajenos al tema, lo qué es el impacto social, sus 
Características, condiciones e implicaciones, los principales métodos 
utilizados para calcularla asi como las oportunidades que se 
vislumbran en la era PosCOVID-19, que demanda que los recursos y 
acciones de innovación a diseñar e imple-mentar, reflejen altos 
estándares de impacto social que fomenten el bien-estar, particularmente 
en los países emergentes. 

Para logralo, esta obra está dividida en una colección de dos tomos, 
correspondiendo al Tomo I: 

Capítulo 1. Conceptos básicos. Este capítulo está orientado a 
explicar qué son los impactos sociales, las razones de por qué evaluar, 
la diferenciación entre monitoreo vs. evaluación, los indicadores de 
ambos, 


lo que implica un monitoreo basado en resultados y su configuración. 
Esto permite definir mejor la idea sobre lo que son las evaluaciones de 
impacto, su relación como estudios de eficacia y efectividad, las impli- 
caciones sobre la evaluación operativa así como sus características de 
impacto cualitativo y cuantitativo además del punto de referencia en el 
que se requiera la evalución de impacto ya sea con prospectiva o con 
retrospectiva. Realizar cualquier evaluación de impacto social para la 
introducción de innovaciones, requiere reconocer al grupo de tratamiento 
y al de control, lo que necesita resolver el problema de cómo determinar 
al grupo contrafactuales; con y sin comparaciones así como su relación 
con el sesgo. Se aporta una descripción de caso, explicando el sesgo de 
selección, en un escenario ex post y explicando a su vez las características 
que le acompañan como evaluaciones de procesos y de evaluación de 
proyectos, la importancia del análisis de costo-beneficio y costo-efecti- 
vidad así como la ética en la evaluación de impacto social en la introduc- 
ción de innovaciones. 

Capítulo 2. Preparación, inferencia causal y contrafactuales. 
Dada la preparación de los grupos de tratamiento y de control, este capí- 
tulo está diseñado para considerar los pasos que sirvan a la construc- 
ción de escenarios contrafactuales que posibiliten a los grupos, explicar 
la construcción de una teoría del cambio, explicar los eslabones de una 
cadena de resultados, las técnicas que facilitan especificación de las 
preguntas de la evaluación, la selección de indicadores de resultados y 
desempeño, realizar una lista de verificación basada en los datos para 
los indicadores. De esta manera, se equipa al investigador para realizar 
inferencia causal, la descripción y estimación de los contrafactualuales, a 
través de dos casos de estudio con los que se cierra el capítulo. 

Capítulo 3. Aleatorización. Es a partir de este capítulo hasta el 
7, donde se inicia con las diferentes técnicas basadas en el software de 
STATA 14, por lo que se recomienda, si no está familiarizado con el 
software, iniciar con el Anexo: Introducción a STATA. Esto le permitirá 


comprender las reglas de operación asi como de acceder a los archivos 
del caso de ejemplo que se estará tratando y que se encuentran alojados en 
el enlace: https://amidi.mx/en publicaciones/archivo de soporte e-libros. 
Así, el capítulo 3 le permitirá al lector conocer las características de la 
asignación aleatoria, ventajas y desventajas de su uso, las condiciones 
recomendables para su aplicación, las implicaciones éticas, los diferentes 
métodos de aleatorización que existen, listas de verificación para llevarlo 
a cabo así como un ejemplo con STATA para su comprensión. 

Capítulo 4. Propensión de coincidencia de puntaje (PSM Propen- 
sity Score Matching). Explica al lector más asiduo, qué es y qué hace 
esta técnica, los supuestos y reglas que deben reunirse para su aplica- 
ción, pasos para lograrlo así como uso de técnicas complementarias. Se 
debaten sus ventajas y desventyajas de uso y se completa con un ejemplo 
de STATA para comprobar su comprensión de uso. 

Capítulo 5. Doble Diferencia (DD Double-Difference). El capítulo 
está diseñado para explicar el método qué es, cómo se usa, lo que sucede 
en el mismo a través del uso de panel de efectos fijos, cómo implemen- 
tarlo, ventajas y desventajas, su utilidad, tendencias, modelos alternativos, 
la posibilidad de combinarlo con el PSM, ajustes, limitaciones, conclu- 
yendo con un ejemplo de STATA para comprobar su comprensión de uso. 


CAPÍTULO 1. 
Conceptos Básicos 


El uso de métodos cuantitativos para medir el impacto de programas 
sociales ha cobrado un gran interés recientemente. En los últimos años 
han surgido organizaciones dedicadas a la elaboración y el financiamiento 
de evaluaciones de impacto. Las entidades multilaterales de crédito y 
las agencias de cooperación han enfatizado, cada vez con mayor fuerza, 
la necesidad de evaluar concienzudamente los proyectos de desarrollo. 
Muchos países han creado oficinas independientes de evaluación y moni- 
toreo de programas públicos. Las evaluaciones de impacto han comen- 
zado a desempeñar un papel preponderante en el diseño de diversas polí- 
ticas como las de salud, educación ,innovación, etc. y, por ende, en el 
control político y la controversia democrática (Bernal y Peña, 2011). 


¿Qué son los impactos sociales? 


Los impactos sociales son cambios en uno o más de los siguientes ámbitos 
(AIEI, 2015): 


e La forma de vida de las personas; es decir, cómo viven, trabajan, 
juegan e interactúan unas con otras en el quehacer cotidiano; 

e Su cultura; esto es, sus creencias, costumbres, valores e idioma o 
dialecto; 

e Su comunidad; su cohesión, estabilidad, carácter, servicios e 
instalaciones; 
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e Sus sistemas políticos; el grado al que las personas pueden parti- 
cipar en las decisiones que afectan sus vidas, el nivel de democra- 
tización que está teniendo lugar y los recursos suministrados para 
ese fin; 

e Su entorno; la calidad del aire y el agua que utiliza la población, la 
disponibilidad y calidad de los alimentos que consume, el nivel de 
peligro o riesgo, polvo y ruido al que está expuesta, la idoneidad 
del saneamiento, su seguridad física; su acceso y control sobre los 
recursos; 

e Su salud y bienestar; la salud es un estado de bienestar total desde 
el punto de vista físico, mental, social y espiritual, y no solamente 
la ausencia de enfermedad; 

e Sus derechos tanto personales como a la propiedad; especial- 
mente si las personas se ven económicamente afectadas o si sufren 
desventajas personales que pueden incluir la violación de sus liber- 
tades civiles; 

e Sus temores y aspiraciones; sus percepciones acerca de su propia 
seguridad, sus temores acerca del futuro de su comunidad y sus 
aspiraciones tanto en lo que respecta a su propio futuro como al de 
sus hijos. 


Los principios internacionales de la evaluación del impacto social la 


definen como: 


los procesos de análisis, monitoreo y gestión de las consecuencias 
sociales voluntarias e involuntarias de intervenciones planeadas 
(políticas, programas, planes, proyectos) y todo proceso de 


cambio social invocado por dichas intervenciones (AIEI, 2015). 


Los programas y políticas de desarrollo (por ejemplo: de innova- 
ción, educación o salud, entre otros), suelen estar diseñados para producir 
resultados planeados, como aumentar los ingresos, mejorar el bienestar o 
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reducir las enfermedades. Saber si estos cambios se logran o no, es una 
pregunta crucial para las diferentes autoridades que las mandan imple- 
mentar, como las políticas públicas, educación, las de desarrollo indus- 
trial o las de salud, entre otras, aunque a menudo no suele abordarse. Es 
más habitual que los administradores de los programas y los responsables 
de las políticas se centren en medir e informar sobre los insumos y los 
productos inmediatos de un programa (cuánto dinero se gasta, cuántas 
personas participan en una innovación de procesos, cuántos empleos se 
generan, etc.) en lugar de evaluar si los programas han logrado sus obje- 
tivos de mejorar los resultados. (Gertler et al., 2017). 

Khandker et al., (2017) refieren a que se pueden usar varios enfo- 
ques para evaluar los diversos programas que un gobierno emite, como lo 
son los proyectos de innovación como tecnología, social, procesos, etc. 
Por ejemplo: 


e El monitoreo, que rastrea los indicadores clave del progreso en 
el curso de un programa como base para evaluar los resultados 
(outcomes) de la intervención. 

e La evaluación operativa, que examina cuán efectivamente fueron 
los programas implementados y si hay brechas entre los resultados 
(outcomes) planificados y los realizados. 

e La evaluación de impacto, que estudia si los cambios en el bien- 
estar se deben realmente al programa intervención y no a otros 
factores. 


El monitoreo y la evaluación son fundamentales en la formulación 
de políticas basadas en evidencia. Ofrecen un conjunto central de instru- 
mentos que las partes interesadas pueden utilizar para verificar y mejorar 
la calidad, eficiencia y efectividad de las políticas y de los programas en 
diferentes etapas de implementación o, en otras palabras, para centrarse 
en los resultados. A nivel de la gestión del programa, es necesario saber 
cuáles son las opciones de diseño costo-efectivas, o demostrar ante los 
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responsables de la toma de decisiones que los programas están logrando 
sus resultados previstos con el fin de obtener asignaciones presupuestarias 
para continuarlos o ampliarlos. Los gobiernos deben rendir cuentas ante 
los ciudadanos para informales del resultado de los programas públicos. 
La evidencia puede constituir una base sólida para la transparencia y la 
rendición de cuentas. (Gertler, et al., 2017). 

Dichos enfoques de evaluación pueden llevarse a cabo utilizando 
métodos cuantitativos (es decir, recopilación de datos de encuestas o 
simulaciones) antes o después, de la introducción de un programa. Así 
siguiendo a Khandker et al., (2017): 


e Una evaluación ex ante predice los impactos del programa utili- 
zando datos antes de la intervención del programa, mientras que, 

e La evaluación ex post examina los resultados (outcomes) después 
de la implementación de los programas. 

e Las comparaciones reflexivas son un tipo de evaluación ex post; 
ellos examinan los impactos del programa a través de la diferencia 
en los resultados (outcomes) de los participantes antes y después 
de la implementación del programa (o entre participantes y no 
participantes). Se tratarán ejemplos al respecto. 


El principal desafío, que atraviesan los diferentes tipos de evaluación 
de impacto, es encontrar un buen contrafactual, es decir, la situación que 
un sujeto participante habría experimentado si él o ella no hubiera estado 
expuesto al programa. Variantes de la evaluación de impacto discutidas 
en los siguientes capítulos que se incluyen son (Khandker et al., 2012): 


e Las evaluaciones aleatorias. 

e Los métodos de coincidencia (matching methods), en especial, la 
técnica de propensión de coincidencia de puntaje (PSM. Propen- 
sity Score Matching). 

e Los métodos de doble diferencia (DD. Double-Difference methods). 
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e El uso de variables instrumentales (IV. Instrumental Variable 
method). 

e El diseño de regresión discontinuidad (RD. Regression Discon- 
tinuity Design) y los métodos de canalización (PM. Pipeline 
Methods). 

e Impacto distributivo (DI. Distributional Impacts). 


Cada uno de estos métodos, implica un conjunto diferente de 
supuestos en la contabilización, del posible sesgo de selección en la parti- 
cipación, que podría afectar la construcción de los efectos del tratamiento 
del programa. 


Por qué evaluar 


Gertler et al. (2017) afirman que las evaluaciones de impacto forman 
parte de una agenda mas amplia de formulación de políticas tales como: 
de innovación, educación, salud o públicas basadas en evidencia. Esta 
tendencia mundial creciente se caracteriza por un cambio de enfoque, 
ya que en lugar de centrarse en los insumos lo hace en los productos y 
resultados. Centrarse en los resultados no solo sirve para definir y hacer 
un seguimiento de los objetivos nacionales e internacionales, sino que 
además, los administradores de programas utilizan y necesitan cada vez 
más los resultados definir las asignaciones presupuestarias y orientar el 
diseño del programa y las decisiones de alto nivel del mismo. 

La evidencia robusta generada por las evaluaciones de impacto está 
sirviendo cada vez más como fundamento para una mayor rendición de 
cuentas, innovación y aprendizaje. En un contexto, en que los responsa- 
bles de las políticas y la sociedad civil exigen resultados y la rendición 
de cuentas de los programas públicos, la evaluación de impacto puede 
proporcionar evidencia robusta y creíble sobre el desempeño y ante todo, 
sobre si un programa concreto ha alcanzado o está alcanzando sus resul- 
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tados deseados. Las evaluaciones de impacto también son cada vez más 
utilizadas para probar innovaciones en el diseño de programas o en la 
prestación de servicios. A nivel mundial, estas evaluaciones son funda- 
mentales para construir conocimientos acerca de la efectividad de los 
programas de desarrollo, iluminando sobre lo que funciona y no funciona 
para reducir la pobreza, incrementar la competitividad y mejorar el 
bienestar. 

En pocas palabras, una evaluación de impacto mide los cambios en 
el bienestar de los individuos que se pueden atribuir a un proyecto, un 
programa o una política específicos. Este enfoque en la atribución es el 
sello distintivo de las evaluaciones de impacto. Por lo tanto, el reto funda- 
mental en una evaluación de esta naturaleza consiste en identificar la rela- 
ción causal entre el programa o la política y los resultados de interés. 
Las evaluaciones de impacto suelen medir el impacto promedio de un 
programa, las modalidades del programa o una innovación en el diseño. 
Por ejemplo, ¿el programa de introducción de innovaciones en procesos 
de agua y saneamiento, aumentó el acceso a agua potable y mejoró los 
resultados de salud?, ¿un programa innovador de estudios alternativo, 
mejoró las puntuaciones de las pruebas de los alumnos?, ¿la innovación 
de incluir destrezas cognitivas como parte de un programa de formación 
de jóvenes ha tenido éxito promoviendo la iniciativa empresarial e incre- 
mentando los ingresos? 

En cada uno de estos casos, la evaluación de impacto proporciona 
información sobre si el programa provocó los cambios deseados en los 
resultados, al compararse con estudios de casos o anécdotas específicas, 
que solo pueden brindar información parcial y que quizá no sean repre- 
sentativos de los impactos generales del programa. En este sentido, las 
evaluaciones de impacto bien diseñadas e implementadas son capaces 
de proporcionar evidencia convincente y exhaustiva que puede ser utili- 
zada para fundamentar las decisiones de las políticas, influir en la opinión 


pública y mejorar el funcionamiento de los programas. Las evaluaciones 
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de impacto clasicas abordan la efectividad de un programa en compara- 
ción con la ausencia del mismo. 

Además de abordar la pregunta básica de si un programa es efectivo 
o no, las evaluaciones de impacto también se pueden utilizar para probar 
explícitamente modalidades de programas alternativos o innovaciones de 
diseño. A medida que los responsables de las políticas de implementación 
de programas innovadores, se centran cada vez más en entender mejor 
cómo perfeccionar la implementación y obtener más a cambio del dinero, 
los enfoques que prueban alternativas de diseño están ganando terreno 
rápidamente. Por ejemplo, una evaluación puede comparar el desempeño 
de un programa de formación con el de una campaña promocional para 
ver cuál es más efectivo para aumentar la alfabetización financiera. Una 
evaluación de impacto puede probar cuál es el enfoque de la combina- 
ción de innovaciones en nutrición y de estimulación del niño, que tiene el 
mayor impacto en su desarrollo. O la evaluación puede probar una inno- 
vación de diseño para mejorar el diseño de un programa existente, como 
utilizar mensajes de texto para mejorar el cumplimiento cuando se trata 
de tomar la medicación prescrita. 


Monitoreo vs. Evaluación 


El monitoreo es un proceso continuo mediante el cual se lleva a cabo 
un seguimiento de lo que ocurre con un programa y se utilizan los datos 
recopilados para fundamentar la implementación de los programas y 
la administración y las decisiones diarias. A partir, sobre todo de datos 
administrativos, el monitoreo realiza un seguimiento de los desembolsos 
financieros y del desempeño del programa en relación con los resultados 
esperados, y analiza las tendencias a lo largo del tiempo. El monitoreo 
es necesario en todos los programas y constituye una fuente crítica de 
información sobre el desempeño de los mismos, lo cual abarca también la 
implementación y los costos. Normalmente, el monitoreo se aplica a los 
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insumos, actividades y productos, aunque ocasionalmente también puede 
abarcar los resultados, como, por ejemplo, el progreso alcanzado en los 
objetivos de desarrollo nacional. 

Un sistema de monitoreo su esencia central es la de establecer obje- 
tivos, indicadores y metas para los programas establecidos. La informa- 
ción y los datos resultantes se pueden utilizar para evaluar el rendimiento 
de los programas de intervención (Khandker, et al. 2017). Por ejemplo, el 
grupo de evaluación independiente del Banco Mundial evalúa el progreso 
de la estrategia de reducción de la pobreza (PRS. Poverty Reduction Stra- 
tegy) del Banco Mundial y Fondo Monetario Internacional, contra sus 
objetivos a través de la supervisión; muchos países también han estado 
desarrollando sistemas de monitoreo para rastrear implementación de la 
iniciativa PRS y su impacto en la pobreza. Al comparar el programa de 
resultados (outcomes) con los objetivos específicos, el monitoreo puede 
ayudar a mejorar el diseño de políticas y su implementación, así como 
promover la rendición de cuentas y el diálogo entre políticas fabricantes 
y partes interesadas. 

En contraste, la evaluación es un procesos sistemático y objetivo 
de los resultados (outcomes) logrado por el programa. En otras pala- 
bras, la evaluación busca demostrar que los cambios en los objetivos se 
deben solo a las políticas especificas emprendidas. Monitoreo y evalua- 
ción juntos se han denominado M&E (Monitoring & Evaluation). Por 
ejemplo, M&E pueden incluir (Khandker, et al., 2017): 


e Evaluación de procesos, el cual examina cómo operan los 
programas y se enfoca en los problemas de entrega de servicio, 

e El análisis de costo-beneficio, que compara los costos del programa 
vs. los beneficios de la entrega; y 

e Las evaluaciones de impacto, que cuantifican los efectos de los 
programas en las personas, hogares y comunidades. 
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Todos estos aspectos, son considerados como parte de un buen 
sistema de M&E y generalmente son realizados por la agencia imple- 
mentadora. 


Monitoreo 


El monitoreo de la implementación de un programa, las más de las veces 
mediante el uso de datos administrativos, es crítico en una evaluación de 
impacto. Permite al equipo de evaluación verificar si las actividades se 
están realizando según lo planificado, es decir, a qué participantes se les 
adjudicó el programa, con qué rapidez se amplió este último, y cómo se 
están gastando los recursos. Esta información es fundamental para imple- 
mentar la evaluación, por ejemplo, para asegurar que los datos de línea 
de base se recopilen antes de que se introduzca el programa en la muestra 
de la evaluación y para verificar la integridad de los grupos de tratamiento 
y comparación. El monitoreo es esencial para verificar si un beneficiario 
realmente participa en el programa y para que no intervengan los no bene- 
ficiarios. Además, los datos administrativos pueden proporcionar infor- 
mación sobre el costo de implementación del programa, lo cual también 
es necesario para los análisis de costo-beneficio y costo-efectividad 
(Gertler et al., 2017). 

Khandker et al. (2017) sugieren que los desafíos para monitorear el 
progreso de una intervención son: 


1. Identifique los objetivos para los que está diseñado el programa o 
la estrategia sobre cómo incrementar la actividad de la innovación, 
reducir la pobreza o mejorar la escolarización de las niñas. 

2. Identifique indicadores clave que se puedan usar para monitorear el 
progreso en relación con estos objetivos. 

3. Establecer objetivos, que cuantifican el nivel de los indicadores 
que deben alcanzarse a una fecha dada. 
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4. Establecer un sistema de monitoreo para seguir el progreso hacia 
el logro de objetivos específicos e informar a los responsables 
políticos. Tal sistema fomentará una mejor gestión y rendición de 
cuentas de proyectos y programas. 


Un ejemplo de los puntos: 1, 2, 3 anterior sería: La Agenda 2030 y 
los Objetivos de Desarrollo Sostenible una oportunidad para América 
Latina y el Caribe (ONU CEPAL, 2015), donde se establecen 17 obje- 
tivos, metas e indicadores para alcanzarlos. Existen casos, como la inno- 
vación que son planteados a alcanzarse a través de varios de ellos. Ver 
Tabla 1.1. 

Otro ejemplo de los mismos puntos 1, 2, 3 es el Global Innovation 
Index (GH, 2019: 371), el cual consta de 80 indicadores en tres catego- 
rías: 


a. 57 indicadores cuantitativos 
b. 18 indicadores compuestos 


c. 5 indicadores cualitativos 


Ambos modelos, tienen oportunidad de generar el planteamiento del 
punto 4 sobre el sistema de monitoreo. 
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Tabla 1.1. La innovación en los objetivos de la ONU CEPAL(2015) 


Objetivo Meta Indicadores 
8.2 8.2.1 
Lograr niveles más elevados de Tasa de crecimiento anual 
productividad económica mediante del PIB real por persona 
la diversificación, la modernización empleada 
tecnológica y la innovación, entre 
8. otras cosas centrándose en los sectores 
Promover el con gran valor añadido y un uso 
IS intensivo de la mano de obra 
económico 
8.3 8.3.1 


sostenido, inclusivo 
y sostenible, el 
empleo pleno y 
productivo y el 
trabajo decente 


Promover políticas orientadas al 
desarrollo que apoyen las actividades 
productivas, la creación de puestos de 
trabajo decentes, el emprendimiento, 


Proporción de empleo 
informal en el sector 
no agrícola, 
desglosada por sexo 


para todos la creatividad y la innovación, y 
fomentar la formalización y el 
crecimiento de las microempresas y 
las pequeñas y medianas empresas, 
incluso mediante el acceso a servicios 
financieros 
9.5. 9.5.1 
Aumentar la investigación científica | Gastos en investigación y 
y mejorar la capacidad tecnológica desarrollo en proporción 
de los sectores industriales de al PIB 
todos los países, en particular los 
países en desarrollo, entre otras 9.5.2 
9. cosas fomentando la innovación y Número de investigadores 
Construir aumentando considerablemente, de (en equivalente a tiempo 
infraestructuras aquí a 2030, el número de personas | completo) por cada millón 
resilientes, que trabajan en investigación y de habitantes 
promover la desarrollo por millón de habitantes y 
industrialización 


inclusiva y 
sostenible y 
fomentar la 
innovación 


los gastos de los sectores público y 
privado en investigación y desarrollo 


9.b 
Apoyar el desarrollo de tecnologías, 
la investigación y la innovación 
nacionales en los países en desarrollo, 
incluso garantizando un entorno 
normativo propicio a la diversificación 
industrial y la adición de valor a los 
productos básicos, entre otras cosas 


9.b.1 
Proporción del valor 
añadido por la industria de 
tecnología mediana y alta 
en el valor añadido total 
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Alianzas para lograr 
los objetivos 
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17.6 
Mejorar la cooperación regional e 
internacional Norte-Sur, Sur-Sur 
y triangular en materia de ciencia, 
tecnología e innovación y el acceso 
a estas, y aumentar el intercambio 
de conocimientos en condiciones 
mutuamente convenidas, incluso 
mejorando la coordinación entre los 
mecanismos existentes, en particular 
a nivel de las Naciones Unidas, y 
mediante un mecanismo mundial de 
facilitación de la tecnología 


17.6.1 
Número de acuerdos y 
programas de cooperación 
en materia de ciencia o 
tecnología suscritos por los 
países, desglosado por tipo 
de cooperación 
17.6.2 
Número de abonados a 
Internet 
de banda ancha fija por 
cada 100 habitantes, 
desglosado 
por velocidad 


17.8 
Poner en pleno funcionamiento, 

a más tardar en 2017, el banco de 
tecnología y el mecanismo de apoyo 
a la creación de capacidad en materia 

de ciencia, tecnología e innovación 
para los países menos adelantados y 
aumentar la utilización de tecnologías 
instrumentales, en particular la 
tecnología de la información y las 
comunicaciones 


Fuente: ONU CEPAL (2015). 
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Los indicadores dentro de un marco de M&E 
Los indicadores, generalmente se agrupan en factores a determinar: 


e Primero, los factores finales que miden los resultados (outcomes), 
como pro ejemplo, el Global Innovation Index (GII, 2019). Ver 


Figura 1.1 


Figura 1.1. Modelo Global Innovation Index 
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Figura 1.2. México en el Global innovation Index (2019) 
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Segundo, determinar los factores intermedios que miden las 
entradas (inputs) como el innovation input sub-index compuesto de 
5 variables y 15 dimensiones, o salidas (outputs) como innovation 
output sub-index, compuesto de 2 variables y 6 dimensiones con 
del GII (2019). Ver Figura 1.2. los mostrados como x.y. 

Los indicadores objetivo, que en el caso del modelo de la Global 
Innovation Index ( GII, 2019) se encuentran los 80 indicadores 
descritos líneas arriba. Ver Figura 1.2, los mostrados como x.y.z. 
Se puede apreciar, básicamente que un modelo como el GII (2019) 
o la ONU (2015), pueden ser representados en cuatro grupos, como 
se presenta en la Figura 1.3. Este llamado marco lógico explica 
las entradas (inputs), salidas (outputs), resultados (outcomes) 
e impactos (impacts) en el sistema de M&E. La evaluación de 
impacto, que es el enfoque de esta obra, abarca las últimas etapas 
del marco de M&E. 


Figura 1.3. Modelo de monitoreo y evaluación de impacto 


Altocation 


Fuente: Khandker et al. (2017). 


Como se observa, el monitoreo cubre tanto la implementación como 
el monitoreo de rendimiento basado en resultados (llamado también 
results-based monitoring). Los indicadores (variables) intermedios 
suelen variar más rápido que los indicadores (factores) finales, responden 
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más rápidamente a las intervenciones públicas y pueden ser medidos 
más fácilmente y de manera más oportuna. Seleccionar los indicadores 
(variables) para el monitoreo vs. objetivos y metas puede estar sujeto a 
limitaciones de recursos a los se que enfrenta el gestor del proyecto. Sin 
embargo, es recomendable seleccionar solo unos pocos indicadores que 
puedan ser monitoreados adecuadamente en lugar de una gran cantidad 
de indicadores que no se puedan medir bien (Khandker et al., 2017). 


Monitoreo basado en resultados 

La ejecución real de un sistema de monitoreo, a menudo se conoce como 
monitoreo basado en resultados (results-based monitoring). Kusek y 
Rist (2004), describen 10 pasos para el monitoreo basado en resultados 
(outcomes) como parte de un marco de M&E, como sigue: 


1. Primero, se debe realizar una evaluación de preparación. La 
evaluación implica comprender las necesidades y características 
del área o región a ser objetivo, así como los actores clave (por 
ejemplo, el gobierno nacional o local y los donantes) que serán 
responsables de la implementación del programa. Es importante 
determinar, cómo responderá el esfuerzo a las presiones negativas 
y la información generada por el proceso de M&E. 

2. En segundo lugar, los evaluadores del programa deben ponerse de 
acuerdo sobre resultados (outcomes) para monitorear y evaluar, así 
como indicadores clave de desempeño para monitorear resultados 
(outcomes). Hacerlo, implica la colaboración con los gobiernos y 
las comunidades receptoras, para llegar a un conjunto de metas y 
objetivos mutuamente acordados para el programa. Se establece la 
importancia de los resultados (outcomes) y los problemas relacio- 
nados para monitorearlos. 

3. Tercero, los evaluadores deben decidir los indicadores clave de 


desempeño (KPI. Key Performance Indicators) de cómo se medirán 
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las tendencias en estos resultados (outcomes). Por ejemplo, de la 
GII (2019) sobre la variable infraestructura fuera un resultado 
(outcomes) importante para un programa, ¿la dimensión acceso a 
internet se medirá por la proporción de conexiones, puntajes de 
satisfacción de servicio, asistencia técnica u otra métrica? Las 
evaluaciones cualitativas y cuantitativas pueden ser realizadas 
para abordar este problema, como se discutirá más adelante en este 
capítulo. Los costos de la medición, también guiarán este proceso. 
Se establecen pros y contras del uso de indicadores prediseñados y 
su construcción. 

Cuarto, deben determinarse los instrumentos para recopilar infor- 
mación. La línea base o los datos del preprograma, pueden ser muy 
útiles para evaluar el impacto del programa, ya sea utilizando los 
datos para predecir los resultados (outcomes) que podrían resultar 
del programa (como en las evaluaciones ex ante) o haciendo 
comparaciones de antes y después (también llamadas compa- 
raciones reflexivas o reflexive comparisons). Los gerentes de 
programa, también pueden participar en discusiones frecuentes con 
los miembros del personal y comunidades seleccionadas. Incluye 
establecer las bases para datos en indicadores así como informa- 
ción; identificar fuentes de datos para los indicadores; diseño y 
comparación de métodos de colección de datos; la importancia de 
los indicadores pilotos. 

Quinto, se deben establecer objetivos de planeación de mejora; 
selección de resultados por objetivos. Estos objetivos también se 
pueden utilizar para monitorear los resultados (outcomes). Este 
esfuerzo incluye establecer objetivos periódicos a lo largo del 
tiempo (por ejemplo, anualmente o cada dos años). Teniendo en 
cuenta la duración de los posibles efectos del programa, así como 
otros factores importantes, que pueden afectar la implementación 
del programa (como consideraciones políticas). El monitoreo de 
estos objetivos, en particular, representa el sexto paso en este 
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marco basado en resultados (outcomes) e implica la recopila- 
ción de datos de buena calidad. Incluye la definición de objetivos; 
factores a considerar cuando se selecciona objetivos de desempeño 
de indicadores; 

Sexto. Monitoreo de los resultados (outcomes). Se establecen tipos 
y niveles de monitoreo; principios clave en la construcción de un 
sistema de monitoreo; determinación del triángulo de la calidad 
de los datos: confiabilidad, validez y línea de tiempo; análisis del 
desempeño de los datos; pruebas previas de la colección de datos, 
instrumentos y procedimientos. 

El séptimo paso, se relaciona con usar la información de la evalua- 
ción para soportar los sistemas de administración basados en 
resultados (results-based management systems) al momento del 
monitoreo, reconociendo que desde una perspectiva de la adminis- 
tración, el momento y la organización de las evaluaciones también 
impulsan el alcance a lo que las evaluaciones pueden ayudar a 
guiar las políticas. Si se encuentra que los indicadores reales son 
divergentes rápidamente de los objetivos iniciales, por ejemplo, 
evaluaciones realizadas en ese momento pueden ayudar a los admi- 
nistradores de programas a decidir rápidamente, si la implementa- 
ción del programa u otros factores relacionados necesitan ser ajus- 
tados. 

El octavo paso, implica una cuidadosa consideración de los medios 
de presentación de los informes, que incluyen el público al que se 
presentarán los resultados (outcomes). Incluye usos de la evalua- 
ción; el timing de las evaluaciones; los tipos y características de la 
calidad de las evaluaciones. 

El noveno paso, implica el uso de los hallazgos; usar los resul- 
tados (outcomes) para crear vías para la retroalimentación (como 
la entrada de información independiente agencias, autoridades 
locales y comunidades específicas y no focalizadas). Tal retroali- 
mentación puede ayudar a los evaluadores a aprender y actualizar 
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las reglas y procedimientos del programa para mejorar los resul- 
tados (outcomes). Incluye los usos de los hallazgos del monitoreo 
y la evaluación; conocer a la audiencia objetivo; presentación de 
los datos de desempeño en formas claras y entendibles. Incluye el 
uso de hallazgos de desempeño; beneficios adicionales del uso de 
hallazgos: retroalimentación, conocimientos y aprendizaje; estrate- 
gias para compartir información. 

10. Soportando el M&E dentro de la organización. Los sistemas 
eficaces de M&E son duraderos y se basan, entre otras cosas, en 
la demanda continua (una función de incentivos para continuar el 
programa, así como el valor de la información creíble); transpa- 
rencia y responsabilidad en procedimientos de evaluación; gestión 
efectiva de presupuestos; y responsabilidades bien definidas entre 
los miembros del personal del programa. Incluye la importancia de 
los incentivos; posibles problemas en los sistemas M&E; valida- 
ción y evaluación de los sistemas M&E e información. 


Desafíos en la configuración 

de un sistema de monitoreo 

Los principales desafíos para un monitoreo efectivo, incluyen la varia- 
ción potencial en el programa implementación debido a la falta de habili- 
dades entre los funcionarios del programa, así como la ambigiiedad en los 
indicadores finales a evaluar. En la mayoría de los programas de imple- 
mentación de innovaciones y basados en el modelo marco de M&E, se 
han tenido uno o varios de los siguientes problemas: 


e Los indicadores clave de rendimiento (KPI) no estaban bien defi- 
nidos y, por lo tanto, no se capturaron exhaustivamente. 
e Recursos humanos limitados disponibles para recopilar y registrar 


la información. 
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El personal encargado de las actividades M&E con un nivel escaso 
de habilidades y capacidades limitadas; sus roles y responsabili- 
dades no estaban bien definidos en los niveles de campo y oficina 
central. 

Carencía de herramientas y software sofisticados para analizar la 
información recopilada. 


Las debilidades en estas áreas deben abordarse mediante diferentes 


enfoques. Por ejemplo, los KPI se deben definir con mayor precisión 


mediante: 
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C. 


e. 


Una mejor comprensión las entradas y salidas en la etapa del 
proyecto, 

Especificando el nivel y la unidad de medición para indicadores, 
Con frecuencia, recolectando niveles comunes y datos adecuados 
para proporcionar actualizaciones periódicas sobre cómo evolu- 
cionan los resultados (outcomes) intermedios y si es necesario 
revisar los indicadores, 

Identificar claramente a las personas y entidades responsables del 
seguimiento. 

Para la recopilación de datos en particular, considerar: el timing 
de la encuesta (desde una línea de base previa al proyecto, por 
ejemplo, hasta el período actual); frecuencia (mensual o semes- 
tral, por ejemplo); instrumentos (como entrevistas o encuestas); y 
el nivel de recaudación (individual, hogar, comunidad o una admi- 
nistración más amplia unidades como el distrito) deben definirse y 
establecerse explícitamente dentro del marco de M&E. 
Proporcionar al personal, capacitación y herramientas para la 
recopilación y análisis de datos, así como la verificación en dife- 
rentes niveles de la estructura de monitoreo. 
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Los formuladores de políticas de implementación de la innova- 
ción, también necesitan establecer cómo impacta el programa a diversos 
niveles (sectores de la industria, pyme, mipyme) y tendencias a nivel de 
país como aumento del comercio, la inflación, el acceso a las tecnolo- 
gías de información,etc. Una cuestión relacionada es la heterogeneidad 
en los impactos del programa en un grupo objetivo. Los efectos de un 
programa, por ejemplo, pueden variar durante su vida útil esperada. Las 
entradas (inputs) relevantes que afectan los resultados (outcomes) pueden 
también cambiar en este horizonte; por lo tanto, monitorear los resultados 
(outcomes) a largo y a corto plazo puede ser de interés para los respon- 
sables técnicos y políticos. Además, aunque los resultados (outcomes) de 
un programa de implementación de la innovación, a menudo se distin- 
guen simplemente en áreas específicas y no específicas, monitoreando la 
variación en la implementación del programa (medidas de calidad, por 
ejemplo) puede ser extremadamente útil para comprender los efectos 
del programa. Con todas estas preocupaciones, un monitoreo cuidadoso 
de áreas específicas y no especificas (ya sea a nivel regional, industrial, 
sectorial, por tamaño de empresa o nivel individual mipyme, por ejemplo) 
será de gran ayuda para medir los efectos del programa (Khandker 
et al., 2017). 


Las evaluaciones de impacto 


Las evaluaciones son valoraciones periódicas y objetivas de un proyecto, 
programa o política planificado, en curso o terminado. Se utilizan para 
responder a preguntas específicas relacionadas con el diseño, la imple- 
mentación y los resultados. En contraste con el monitoreo, que es perma- 
nente, las evaluaciones se llevan a cabo en momentos concretos en el 
tiempo y a menudo requieren una perspectiva externa de los técnicos 
expertos. Su diseño, método y costo varían considerablemente en función 
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del tipo de pregunta que la evaluación intente responder. En términos 
generales, las evaluaciones pueden abordar tres tipos de preguntas (Imas 
y Rist, 2009): 


e Preguntas descriptivas, que apuntan a lo que está ocurriendo. Se 
centran en los procesos, las condiciones, las relaciones organiza- 
cionales y las opiniones de las partes interesadas. 

e Preguntas normativas, que comparan lo que ocurre con lo que 
debería ocurrir. Evalúan las actividades e investigan si los objetivos 
se cumplen o no. Estas preguntas pueden aplicarse a los insumos, 
las actividades y los productos. 

e Preguntas de causa y efecto, que se centran en la atribución. Inves- 


tigan qué diferencia produce la intervención en los resultados. 


Hay numerosos tipos de evaluación y de métodos de evaluación, 
basados en datos cuantitativos y cualitativos. Los datos cualitativos no 
se expresan en números sino más bien mediante un lenguaje o, a veces, 
imágenes. Los datos cuantitativos son mediciones numéricas y habi- 
tualmente se asocian con escalas o métricas. Tanto los unos como los 
otros se pueden utilizar para responder al tipo de preguntas planteado 
más arriba. En la práctica, numerosas evaluaciones trabajan con ambos 
tipos de datos. Hay múltiples fuentes de datos que se pueden emplear en 
las evaluaciones, tanto datos primarios recopilados para el objetivo de la 
evaluación como los datos secundarios disponibles. 

Las evaluaciones de impacto son más completas si se sirven de datos 
cuantitativos pero subrayan el valor del monitoreo, de los métodos de 
evaluación complementarios y del uso tanto de datos cuantitativos como 
cualitativos. Las evaluaciones de impacto constituyen un tipo parti- 
cular de evaluación que pretende responder a una pregunta específica de 
causa y efecto: ¿cuál es el impacto (o efecto causal) de un programa 
en un resultado de interés? Esta pregunta básica incorpora una dimen- 
sión causal importante. Se centra únicamente en el impacto, es decir, en 
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los cambios directamente atribuibles a un programa, una modalidad de 
programa o una innovación de diseño. 

La pregunta básica de la evaluación: ¿cuál es el impacto o efecto 
causal de un programa en un resultado de interés? se puede aplicar en 
numerosos contextos. Por ejemplo, ¿cuál es el efecto causal de los estí- 
mulos a la innovación en la asistencia a pymes y sus logros de compe- 
titividad?, ¿cuál es el impacto en el acceso a la atención sanitaria de 
contratar la servicios de innovación en atención primaria con provee- 
dores privados? Si la elaboración de agua de coco es reemplazado por 
un proceso innovador que aporta mayor productividad con menor costo, 
¿cuál será el impacto económico en una comunidad cooperativista?, ¿la 
mejora de los caminos con tecnologías innovadoras aumenta el acceso a 
los mercados laborales e incrementa el ingreso de los hogares y, en caso 
afirmativo, en qué medida?, ¿influye el acceso de la clase por medios 
de internet, en los logros de los alumnos y, en caso afirmativo, en qué 
medida? Como muestran estos ejemplos, la pregunta de la evaluación 
básica se puede ampliar para analizar el impacto de una modalidad de 
programa o innovación de diseño, no solo de un programa. 

El sello distintivo de las evaluaciones de impacto es centrarse en la 
causalidad y la atribución. Todos los métodos de evaluación de impacto 
plantean alguna forma de pregunta de causa y efecto. El enfoque para 
abordar la causalidad determina las metodologías que se pueden utilizar. 
Para estimar el efecto causal o el impacto de un programa en los resul- 
tados, cualquier método de evaluación de impacto elegido debe estimar 
el llamado contrafactual, es decir: cuál habría sido el resultado de los 
participantes del programa si no hubieran participado en el mismo. En la 
práctica, la evaluación de impacto requiere que el equipo de evaluación 
encuentre un grupo de comparación para estimar qué les habría ocurrido 
a los participantes del programa sin el programa, y posteriormente, efec- 
tuar comparaciones con el grupo de tratamiento que ha sido objeto del 
programa. 
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La elección de un método de evaluación de impacto depende de las 
características operativas del programa que se evalúa. Cuando las reglas 
de operación del programa son equitativas y transparentes y contemplan 
la rendición de cuentas, siempre se podrá encontrar un buen diseño de 
evaluación de impacto, ya sea que se planifique al comienzo, o durante 
el proceso de diseño o de implementación de un programa. El contar con 
reglas de operación claras y bien definidas para un programa no solo 
tiene un valor intrínseco en las políticas de implementación de innova- 
ciones y en una gestión solvente de los programas: también es esencial 
para construir buenos grupos de comparación, lo cual constituye la base 
de las evaluaciones de impacto rigurosas. Concretamente, la elección de 
un método de evaluación de impacto está determinada por las caracterís- 
ticas operativas del programa, en particular sus recursos disponibles, los 
criterios de elegibilidad para seleccionar a los beneficiarios y los plazos 
para la implementación del programa. 

Así, se pueden formular tres preguntas acerca del contexto operativo 
de un determinado programa: 


1. ¿El programa tiene recursos para servir a todos los beneficiarios 
elegibles? 

2. ¿El programa está focalizado o es universal? 

3. ¿El programa se ofrecerá a todos los beneficiarios de una sola vez 
o de manera secuencial? 


La respuesta a estas tres preguntas determinará cuál de los métodos 
presentados asignación aleatoria, variables instrumentales, regresión 
discontinua, diferencias en diferencias o pareamiento, es el más adecuado 
para un determinado contexto operativo. 
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Estudios de eficacia y estudios de efectividad 

Gertler et al. (2017) confirman que la función principal de la evalua- 
ción de impacto consiste en producir evidencia sobre el desempeño de 
un programa a fin de que sea utilizada por los funcionarios públicos, los 
administradores del programa, la sociedad civil y otros actores rele- 
vantes. Los resultados de las evaluaciones de impacto son particular- 
mente útiles cuando las conclusiones se pueden aplicar a una población 
de interés más amplia. La cuestión de la generalización es clave para los 
responsables de las políticas, puesto que determina si los resultados iden- 
tificados en la evaluación pueden replicarse en grupos ajenos a los que 
han sido estudiados en la evaluación si aumenta la escala del programa. 
En los primeros tiempos de las evaluaciones de impacto de los programas 
de desarrollo, se tenía que: 


1. Una gran parte de la evidencia se basaba en estudios de eficacia, es 
decir, pruebas llevadas a cabo en un entorno específico en condi- 
ciones rigurosamente controladas para asegurar la consistencia 
entre el diseño de la evaluación y la implementación del programa. 
Dado que los estudios de eficacia suelen realizarse como experien- 
cias piloto con una amplia participación técnica de los investiga- 
dores mientras el programa se está implementando, es posible que 
sus resultados, a menudo de pequeña escala, no ofrezcan necesa- 
riamente mucha información acerca del impacto de un proyecto 
similar implementado a mayor escala en circunstancias normales. 
Los estudios de eficacia analizan la prueba de concepto, a menudo 
para sondear la viabilidad de un nuevo programa o una teoría 
específica del cambio. Si el programa no genera impactos antici- 
pados bajo estas condiciones cuidadosamente manejadas, es poco 
probable que funcione si se despliega en circunstancias normales. 
Por ejemplo, una intervención piloto que introduce nuevos proto- 
colos de implementación de innovación tecnológica, puede 
funcionar en una empresa de software con excelentes administra- 
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dores y equipo de ingeniería, pero puede que la misma interven- 
ción no funcione en una empresa promedio con administradores 
menos esmerados y limitaciones de personal. Además, los cálculos 
de costo beneficio variarán, dado que los pequeños estudios de 
eficacia quizá no capturen los costos fijos ni las economías de 
escala. Como consecuencia, si bien la evidencia de los estudios de 
eficacia puede ser útil para probar un enfoque innovador, los resul- 
tados a menudo tienen una capacidad de generalización limitada 
y no siempre representan adecuadamente entornos más generales, 
que suelen ser la principal preocupación de los responsables de las 
políticas de implementación de innovaciones. 

Los estudios de efectividad proporcionan evidencia a partir de las 
intervenciones que tienen lugar en circunstancias normales, utili- 
zando vías de implementación regulares y con el objeto de producir 
conclusiones que se pueden generalizar para una población 
grande. Cuando las evaluaciones de efectividad están adecuada- 
mente diseñadas e implementadas, los resultados pueden ser gene- 
ralizables para los beneficiarios previstos fuera de la muestra de 
la evaluación, siempre y cuando la ampliación utilice las mismas 
estructuras de implementación y llegue a poblaciones similares a 
la de la muestra de la evaluación. Esta validez externa tiene una 
importancia crítica para los responsables de las políticas de imple- 
mentación de innovaciones, porque les permite utilizar los resul- 
tados de la evaluación para fundamentar decisiones que afectan a 
todo el programa y que se aplican a los beneficiarios previstos más 
allá de la muestra de la evaluación. 
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Evaluación operativa y sus desafíos 

Una evaluación operativa, busca comprender si la implementación de 
un programa se ha desplegado, según lo planeado. Específicamente, la 
evaluación operativa es una evaluación retrospectiva basado en los obje- 
tivos iniciales del proyecto, indicadores y metas del marco de M&E 
(Khandker et al., 2017). 

La evaluación operativa, puede basarse en entrevistas con los bene- 
ficiarios del programa y con funcionarios responsables de la implementa- 
ción. El objetivo es comparar lo planeado con lo que realmente se entregó, 
para determinar si hay brechas entre lo planeado y resultados (outcomes) 
realizados, e identificar las lecciones que se aprenderán para el diseño de 
proyectos futuros e implementación. 

Debido a que la evaluación operativa se relaciona en cómo son imple- 
mentados los programas en última instancia, diseñar medidas apropiadas 
de calidad para lograrlo, es un desafío muy importante. Estos esfuerzos, 
incluyen monitorear cómo se gastó o asignó el dinero del proyecto en 
todos los sectores (en comparación con el objetivo), así como posibles 
efectos indirectos del programa, en áreas no consideradas inicialmente. 
Recopilar datos precisos sobre estos factores, puede ser difícil, pero es 
esencial para determinar el potencial de sesgos en la medición de los 
impactos del programa. 


Evaluación operativa vs. evaluación de impacto 

La justificación de un programa, para atraer recursos públicos, es mejorar 
un resultado (outcomes) seleccionado sobre lo que hubiera sido sin el 
programa. El principal problema de un evaluador, es medir el impacto o 
los efectos de una intervención y reportarlo, a fin de que los encargados 
de formular las políticas de implementación tengan los elementos sufi- 
cientes de decisión, sobre si la intervención del programa, merece la pena 
continuarse, expandirse o extinguirse (Khandker et al., 2017). 
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La evaluación operativa se relaciona con asegurar la implementa- 
ción efectiva de un programa de acuerdo con los objetivos iniciales del 
programa. La evaluación de impacto es un esfuerzo para comprender si 
los cambios esperados orientados al bienestar, se deben realmente a un 
proyecto o programa intervención. Específicamente, la evaluación de 
impacto intenta determinar si es posible identificar el efecto del programa 
y hasta qué punto el efecto medido se puede atribuir a el programa y no 
a Otras causas. 

Como se sugiere en la Figura 1.3, la evaluación de impacto se basa 
en las últimas etapas del marco teórico del modelo M&E, que se centra 
en los resultados (outcomes) e impactos (impacts). La evaluación tanto 
operativa como de impacto, se consideran complementarias más que 
sustitutas. Una evaluación operativa debe ser parte del procedimiento 
normal dentro del agencia ejecutora. Pero la plantilla utilizada para una 
evaluación operativa puede ser muy útil para una evaluación de impacto 
más rigurosa. Realmente se necesita saber el contexto dentro del cual se 
generaron los datos y hacia dónde se dirigió el esfuerzo político. También 
el información generada a través de las oficinas de implementación del 
proyecto, es esencial para una evaluación operativa así como la interpre- 
tación de los resultados del impacto. Sin embargo, aunque la evaluación 
operativa y la práctica general de M&E son partes integrales de la imple- 
mentación del proyecto, la evaluación de impacto no es imprescindible 
para cada proyecto ya que requiere mucho tiempo y recursos y, por lo 
tanto, debe ser aplicado selectivamente. Los responsables de alto nivel, 
pueden decidir si llevar a cabo una evaluación de impacto, sobre la base 
de los siguientes criterios: 


e La intervención del programa, es innovador y de importancia 
estratégica. 

e El ejercicio de la evaluación de impacto, contribuye a descubrir la 
brecha de conocimiento, de lo que funciona y lo que no. (La dispo- 
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nibilidad y la calidad de los datos son requisitos fundamentales 
para este ejercicio). 


Evaluación de impacto cualitativo vs. cuantitativo 

Los gobiernos, los donantes y otros profesionales de la comunidad de desa- 
rrollo están interesados para determinar la efectividad de los programas 
con objetivos de largo alcance como la introducción de innovaciones, 
la reducción de la pobreza o el aumento del empleo. Estas misiones de 
política, a menudo son posibles solo a través de evaluaciones de impacto 
basadas en evidencia sólida de datos de encuestas o a través de enfoques 
cuantitativos relacionados. Esta obra, se enfoca en los métodos de evalua- 
ciones de impacto cuantitativo más que cualitativos. 

La información cualitativa, como la comprensión del contexto local, 
sociocultural e institucional, así como los detalles del programa y de los 
participantes, es, sin embargo, esencial para una evaluación cuantitativa 
sólida. Por ejemplo, la información cualitativa puede ayudar a identificar 
mecanismos a través de los cuales los programas podrían tener impacto; 
dichas encuestas también pueden identificar a los responsables políticos 
locales o individuos que sean importantes para determinar el curso de 
cómo se implementan los programas, por lo tanto, ayudando a la evalua- 
ción operacional. Pero una evaluación cualitativa por sí sola, no puede 
evaluar resultados (outcomes) contra alternativas relevantes o resul- 
tados (outcomes) contrafactuales. Es decir, no puede realmente indicar 
lo que podría suceder en ausencia del programa. El análisis cuantitativo 
también es importante para abordar posibles sesgos estadísticas en los 
impactos del programa. Una mezcla de métodos cualitativos y cuantita- 
tivos (enfoque de métodos mixto) por lo tanto, podría ser útil para obtener 
una visión integral de la efectividad del programa. 

Los enfoques de métodos mixtos, al combinar datos cuantitativos 
y cualitativos, constituyen un complemento clave en las evaluaciones 
de impacto que se basan únicamente en el uso de datos cuantitativos 
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(Gertler et al., 2017) sobre todo, para contribuir a generar hipótesis y 
enfocar las preguntas de la investigación antes de recopilar los datos 
Cuantitativos, así como para presentar perspectivas y visiones novedosas 
del desempeño de un programa durante y después de su implementación. 
Hay numerosos métodos cualitativos, que componen su propio ámbito de 
investigación. Los métodos que generan datos cualitativos suelen basarse 
en enfoques abiertos, que no dependen de las respuestas predetermi- 
nadas de las personas entrevistadas. Los datos se generan a través de una 
gama de enfoques, incluidos grupos focales, historiales y entrevistas con 
beneficiarios seleccionados y otros informantes clave (Rao y Woolcock, 
2003). También pueden incluir una gama de evaluaciones observacio- 
nales y etnográficas. A pesar de que las observaciones, ideas y opiniones 
recopiladas durante el trabajo cualitativo no suelen ser estadísticamente 
representativas de los beneficiarios del programa y, por lo tanto, no son 
generalizables, resultan útiles para entender por qué se han alcanzado o 
no ciertos resultados. Las evaluaciones que integran el análisis cuantita- 
tivo y cualitativo se caracterizan por utilizar métodos mixtos (Bamberger 
et al., 2010). En el desarrollo de un enfoque de método mixto, Creswell 
(2014) define tres aproximaciones básicas: 


a. Convergente paralelo. Se recopilan simultáneamente datos cuan- 
titativos y cualitativos y se utilizan para triangular los hallazgos o 
para generar los primeros resultados sobre cómo se está implemen- 
tando el programa y cómo lo perciben los beneficiarios. 

b. Explicativo secuencial. Los datos cualitativos proporcionan 
contexto y explicaciones para los resultados cuantitativos, para 
explorar casos atípicos de éxito y fracaso, y para desarrollar explica- 
ciones sistemáticas del desempeño del programa, como se constató 
en los resultados cuantitativos. De esta manera, el trabajo cualita- 
tivo puede contribuir a determinar por qué en el análisis cuantita- 
tivo se observan ciertos resultados, y se pueden usar para entrar en 
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la caja negra de lo que ocurrió en el programa (Bamberger et al., 
2010). 

c. Exploratorio secuencial. El equipo de evaluación puede utilizar 
grupos focales, listas, entrevistas con informantes clave y otros 
enfoques cualitativos para desarrollar hipótesis a propósito 
de cómo y por qué el programa funcionaría, y para clarificar 
preguntas acerca de la investigación que hay que abordar en el 
trabajo cuantitativo de evaluación de impacto, lo que incluye las 
alternativas más relevantes del diseño de programas que deben ser 
probadas a través de la evaluación de impacto. 


Evaluación de impacto cuantitativo: ex post vs ex ante 

Hay dos tipos de evaluaciones de impacto cuantitativas: ex post y ex ante. 
Una evaluación de impacto ex ante intenta medir los impactos previstos 
de futuros programas y políticas, dada la situación actual de un área 
potencialmente focalizada, y pueden involucrar simulaciones basadas en 
suposiciones sobre cómo funciona cierto factor como la economía (Bour- 
guignon y Ferreira, 2003; Todd y Wolpin, 2006). En muchas ocasiones: 


1. Las evaluaciones ex ante, se basan en modelos estructurales del 
entorno económico que enfrentan los participantes potenciales. Los 
supuestos subyacentes de los modelos estructurales, por ejemplo, 
implican identificar los principales agentes de innovación, sociales, 
económicos, etc. en el desarrollo del programa (individuos, comu- 
nidades, gobiernos locales o nacionales, pymes, mipymes, etc.), así 
como los vínculos entre los agentes y los diferentes mercados para 
determinar los resultados (outcomes) del programa. Estos modelos 
predicen los impactos del programa. Gertler et al. (2017) afirman 
sobre las evaluaciones ex ante que son evaluaciones que utilizan 
datos disponibles para simular los efectos esperados bajo las polí- 
ticas de implementación de innovaciones, en los resultados de 
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interés. Pueden ser muy útiles para medir la efectividad esperada 
relativa de una gama de opciones de diseño de programas alterna- 
tivos en los resultados. Se trata de métodos habitualmente usados 
que dependen de la disponibilidad de datos de gran alcance y 
calidad que se pueden utilizar para aplicar modelos de simulación 
adecuados a la pregunta en cuestión. Al contrario de las evalua- 
ciones de impacto, estos métodos se emplean para simular futuros 
efectos potenciales, más que para medir los impactos reales de los 
programas implementados. Este tipo de métodos puede ser suma- 
mente útil para establecer referencias para los probables efectos del 
programa y para instituir objetivos realistas, así como para estimar 
costos, tasas de retorno y otros parámetros económicos. Se suelen 
utilizar como la base de los análisis económicos de los proyectos, 
especialmente antes de que se introduzca una reforma o se imple- 
mente un proyecto. 

Las evaluaciones ex post, por el contrario, miden los impactos 
reales acumulados por los beneficiarios, que son atribuibles a la 
intervención del programa. Una forma de este tipo de evaluación 
se encuentra en el modelo de efectos del tratamiento (Heckman y 
Vytlacil, 2005). Las evaluaciones ex post tienen beneficios inme- 
diatos y realidad reflejada. Estas evaluaciones, sin embargo, en 
ocasiones carecen de los mecanismos subyacentes al impacto del 
programa en la población, del que los modelos de análisis estruc- 
turales, tienen como objetivo capturar y que pueden ser muy 
importantes para comprender la efectividad del programa (parti- 
cularmente en entornos futuros). Las evaluaciones ex post también 
pueden ser mucho más costosas que las evaluaciones ex ante porque 
requieren recopilar datos sobre resultados para grupos partici- 
pantes y no participantes, así como para otros factores sociales, 
políticos, técnicos, etc. que pueden haber determinado el curso de 
la intervención. Un costo adicional en la configuración ex post es el 
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fracaso de la intervención, que podría haber sido predicho a través 
del análisis ex ante. 

3. Un enfoque propuesto a considerar, es combinar ambos análisis 
y comparar las estimaciones ex post con las predicciones ante 
(Ravallion, 2008) y hacerlos mixtos. Este enfoque puede ayudar a 
explicar cómo surgen los beneficios del programa, especialmente 
si el programa se lleva a cabo en diferentes fases y tiene la flexibi- 
lidad de ser refinada a partir del conocimiento adicional obtenido 
de la comparación. Sin embargo, un ejercicio de impacto ex post es 
más fácil de realizar si los investigadores tienen un diseño ex ante 
de evaluación de impacto. Es decir, se puede planificar un diseño, 
para una evaluación de impacto antes de implementar la interven- 
ción. 


Evaluación de impacto: prospectiva vs. retrospectiva 

De acuerdo con Gertler et al. (2017), las evaluaciones de impacto 
se pueden dividir en dos categorías: prospectivas y retrospectivas, 
describiéndose: 


1. Las evaluaciones prospectivas se desarrollan simultáneamente con 
el diseño del programa y se incorporan en la implementación del 
mismo. Los datos de línea de base se recopilan antes de imple- 
mentar el programa, tanto en el grupo que recibe la intervención 
(denominado grupo de tratamiento) como en el grupo utilizado 
como comparación y que no es objeto de la intervención (deno- 
minado grupo de comparación). Las evaluaciones de impacto 
prospectivas tienen más probabilidades de producir resultados 
solventes y creíbles, por tres motivos: 

a. En primer lugar, se pueden recopilar datos de línea de base para 
establecer las medidas de los resultados de interés antes de que 
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el programa haya comenzado. Estos datos son importantes para 
medir los resultados antes de la intervención. Los datos de línea 
de base en los grupos de tratamiento y comparación se deben 
analizar para asegurar que los grupos sean similares. Las líneas 
de base también se pueden utilizar para evaluar la efectividad de 
la focalización, es decir, si un programa llega o no a sus beneficia- 
rios previstos. 

En segundo lugar, definir la medida de éxito del programa en 
la etapa de planificación del mismo, centra tanto el programa 
como la evaluación en los resultados previstos. Como se verá, las 
evaluaciones de impacto se basan en la teoría del cambio de un 
programa o una cadena de resultados. El diseño de una evaluación 
de este tipo contribuye a clarificar los objetivos del programa, 
sobre todo porque requiere establecer medidas bien definidas de 
su éxito. Los responsables de las políticas de implementación de 
programas de innovación, deberían definir objetivos claros para 
el programa y formular preguntas claras que la evaluación debe 
contestar, para garantizar que los resultados sean relevantes para 
las políticas. En realidad, el pleno apoyo de los responsables de 
las políticas de implementación de programas de innovación, es 
un requisito necesario para el éxito de una evaluación; no se debe- 
rían emprender evaluaciones de impacto a menos que los respon- 
sables de dichas políticas, estén convencidos de la legitimidad de 
las mismas y de su valor para fundamentar decisiones clave de las 
políticas públicas. 

En tercer lugar, y lo que es aún más importante, en una evalua- 
ción prospectiva los grupos de tratamiento y comparación se 
definen antes de implementar la intervención que será evaluada. 
En resumen, las evaluaciones prospectivas son las que tienen más 
probabilidades de generar contrafactuales válidos. En la etapa de 
diseño, se pueden contemplar maneras alternativas de estimar 
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un contrafactual válido. El diseño de la evaluación de impacto 
también se puede alinear plenamente con las reglas operativas del 
programa, asi como con el despliegue o el proceso de expansion 
de este ultimo. 

2. Las evaluaciones retrospectivas, evalúan el impacto del programa 
después de que se le haya implementado, y los grupos de trata- 
miento y de comparación se generan ex post. En las evalua- 
ciones retrospectivas, el equipo que lleva a cabo la evaluación ,a 
menudo tiene información tan limitada que resulta difícil analizar 
si el programa fue implementado con éxito y si sus participantes 
realmente se beneficiaron de él. Numerosos programas no reco- 
pilan datos de línea de base a menos que se haya incorporado 
la evaluación desde el principio, y una vez que el programa esté 
funcionando ya es demasiado tarde para hacerlo. Las evaluaciones 
retrospectivas que utilizan los datos existentes, son necesarias para 
evaluar los programas creados en el pasado. En estas situaciones, 
las opciones para obtener una estimación válida del contrafactual 
son mucho más limitadas. La evaluación depende de reglas claras 
de operación del programa en lo que respecta a la asignación de 
beneficios. También depende de la disponibilidad de datos con 
suficiente cobertura sobre los grupos de tratamiento y compara- 
ción, tanto antes como después de la implementación del programa. 
El resultado es que la viabilidad de una evaluación retrospectiva 
depende del contexto y nunca está garantizada. Incluso cuando son 
viables, las evaluaciones retrospectivas a menudo utilizan métodos 
cuasi experimentales y dependen de supuestos más fuertes y, por 
ende, pueden producir evidencia más discutible. 
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El problema de los contrafactuales 


El principal desafío de una evaluación de impacto es determinar qué 
hubiera sucedido a los beneficiarios si el programa no hubiera existido 
(Khandker et al., 2017). Es decir, el investigador tiene que determinar 
por ejemplo, el ingreso por innovaciones de las empresas beneficiarias, 
en ausencia de la intervención de incentivos a la innovación. El resultado 
de un beneficiario, en ausencia de la intervención sería su contrafactual. 
Esto es, un programa o política de intervención busca alterar los cambios 
en el bienestar de los supuestos beneficiarios. En el análisis del impacto 
cuantitativo ex post, se observan los resultados (outcomes) de esta inter- 
vención en los beneficios previstos tales como el empleo o gastos. Así, 
cabe preguntarse: ¿este cambio se relaciona directamente con la interven- 
ción?, ¿esta intervención ha causado que crezcan los gastos o el empleo? 
No necesariamente. De hecho, con solo una observación puntual después 
del tratamiento, es imposible llegar a una conclusión sobre el impacto. 
En el mejor de los casos, se puede decir si el objetivo se cumplió en la 
intervención. Pero el resultado (outcomes) después de la intervención no 
puede atribuirse a la programa en sí mismo. 

El problema de la evaluación, es que, si bien el impacto del programa 
(independiente de otros factores) puede evaluarse realmente solo compa- 
rando resultados (outcomes) reales y contrafactuales, el contrafactual no 
se observa. Entonces, el desafío de una evaluación de impacto es crear un 
grupo de comparación convincente y razonable para los beneficiarios a la 
luz de estos datos faltantes. Idealmente, el investigador desea comparar 
cómo la misma empresa, hogar o al individuo le hubiera ido bien y sin 
intervención o tratamiento. Pero no puede hacerlo porque en un momento 
dado, una empresa, un hogar o un individuo no pueden tener dos exis- 
tencias simultáneas: una empresa, un hogar o un individuo no pueden 
estar en los grupos con tratamiento y sin tratamiento al mismo tiempo. 
Encontrar un contrafactual apropiado constituye el principal desafío de 
una evaluación de impacto. ¿Qué tal una comparación entre los grupos 
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tratados y no tratados, cuando ambos son elegibles para ser tratados? 
¿Qué tal una comparación de los resultados (outcomes) de los grupos 
tratados antes y después de que son tratados? Estos grupos de compara- 
ción potenciales, pueden ser contrafactuales falsificados, como se discu- 
tirá en los ejemplos que siguen. 


Búsqueda de contrafactuales con y sin comparaciones 
Considere el caso de los beneficiarios, de un programa de gobierno sobre 
estímulos a la innovación para pymes que invierten en proyectos de 
investigación, desarrollo de tecnología e innovación dirigidos al desa- 
rrollo de nuevos productos, procesos o servicios, lo cual es considerado 
por las autoridades que brindan el apoyo económico como el camino para 
incentivar y promover el crecimiento y la competitividad de la empresa. 

Los datos, sin embargo, muestran que la inversión per cápita (pymes) 
entre los participantes del programa es menor que el de los no partici- 
pantes antes de la intervención del programa. ¿Es este un caso de quiebra 
potencial al programa? La respuesta es, no necesariamente. Normal- 
mente, los gobiernos se dirigen a las pymes con ciertas desventajas, como 
la menor inversión per cápita en innovaciones para empezar, por lo que 
se considera que juzgar el impacto del programa, comparando las inver- 
siones previas en innovación de los participantes del programa con los 
no participantes, es incorrecto. Lo que se necesita, es comparar lo que 
habría sucedido con la inversión en innovación de las pymes partici- 
pantes, de no haber existido el programa de intervención. Así, es nece- 
sario determinar un grupo de comparación adecuado, como un contrafac- 
tual cercano a los beneficiarios del programa. La Figura 1.4 da cuenta de 
lo anterior. 
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Figura 1.4. Evaluación de impacto con y sin comparación 


Pymes participantes 


Impacto 


onoono "a i 


Programa de 


=> estímulos a la 


innovación 


Tiempo 


Fuente: Elaboración propia. 


Donde: 
Y4 Son las ingresos de las pymes participantes al programa de estí- 
mulos a la innovación, después de la intervención. 
Y3 Son los ingresos de las pymes no participantes o control de 
empresas. 


Esta evaluación con y sin comparación grupal, mide el efecto del 
programa como (Y4 - Y3) ¿Es esta medida una estimación correcta del 
efecto del programa? Sin saber ¿por qué algunas pymes participaron 
mientras que otras no, cuando las autoridades pusieron a disposición su 
programa de apoyo a la vista de todos los medios de publicidad, físicos y 
electrónicos posibles; esto lleva a pensar que tal comparación podría ser 
engañosa. Sin dicha información, un tercer observador no sabe si (Y3) 
es el resultado (outcomes) contrafactual correcto para evaluar el efecto 
del programa. Por ejemplo, los ingresos son diferentes entre los partici- 
pantes y los grupos de control antes del programa; este diferencial podría 
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deberse a diferencias subyacentes que pueden sesgar la comparación a 
través de los dos grupos. 

Si el investigador supiera los resultados (outcomes) contrafactuales 
(YO ,Y2), la estimación real del efecto del programa es (Y4 - Y2), como lo 
indica la Figura 1.4, y no (Y4 - Y3). En este ejemplo, el falso contrafactual 
produce una subestimación del efecto del programa. Tenga en cuenta, sin 
embargo, que dependiendo de las situaciones de pre-intervención de los 
grupos tratados y grupos de control, la comparación del falso, podría 


producir una sobreestimación o subestimación del efecto del programa. 


Contrafactual antes y después de comparar 

Otro falso contrafactual podría ser una comparación entre los resultados 
(outcomes) del preprograma y el posprograma, de los participantes. El 
investigador podría comparar los resultados (outcomes) ex post para las 
pymes beneficiarias, con datos sobre sus resultados (outcomes) antes de 
la intervención, ya sea con una encuesta de datos comparable antes de 
la introducción del programa o, en ausencia de un diseño de evaluación 
adecuado, con datos retrospectivos. Como se muestra en la Figura 1.5, se 
tienen dos puntos de observación para los beneficiarios pyme de la inter- 
vención: ingreso pre-intervención (YO) y el ingreso post-intervención 
(Y2). En consecuencia, el efecto del programa podría estimarse como 
(Y2 - YO). La literatura (Khandker et al., 2017) se refiere a este enfoque, 
como el método de impacto reflexivo, donde los resultados (outcomes) 
de los participantes, antes de la intervención funcionan como resultados 
(outcomes) de comparación o control. ¿Este método ofrece una estima- 


ción realista del efecto del programa? Probablemente no. 
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Figura 1.5. Evaluación de impacto 
por comparación antes—después de 
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Fuente: Elaboración propia. 


La serie de tiempo, ciertamente hace que llegar a mejores conclu- 
siones, sea más fácil, pero de ninguna manera es concluyente sobre el 
impacto de un programa. Observando la misma Figura 1.5, se aprecia, 
por ejemplo, que el impacto podría ser (Y2 -Y1). De hecho, un método de 
diferencia tan simple no será una evaluación precisa porque hay muchos 
otros factores (fuera del programa) que pudieran haber cambiado durante 
el período. No controlar esos otros factores, significa que el investigador 
atribuiría falsamente el resultado (outcomes) del participante, en ausencia 
del programa como (YO), cuando podría haber sido (Y1). Por ejemplo, 
los participantes en un programa de capacitación pueden tener mejores 
perspectivas de empleo después del programa. Aunque esta mejora puede 
ser debido al programa, también puede ser porque la economía se está 
recuperando de un pasado de crisis y el empleo están creciendo de nuevo. 
A menos que se hagan con cuidado, las comparaciones reflexivas exis- 
tentes no pueden distinguir entre los efectos del programa y otros efectos 
externos, comprometiendo así la fiabilidad de los resultados (outcomes). 
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Las comparaciones reflexivas pueden ser útiles en evaluaciones de 
intervenciones de cobertura total tales como políticas y programas a nivel 
nacional en los que participa toda la población y no hay margen para 
un grupo de control. Incluso, cuando el programa no sea tan amplio, si 
se observan resultados (outcomes) para los participantes durante varios 
años, entonces los cambios estructurales en los resultados (outcomes) 
podrían ser probados (Ravallion, 2008). 

En este contexto, por lo tanto, un estudio de línea de base amplio, 
que cubra múltiples características de preprogramas que consideren por 
ejemplo, la adopción de políticas de innovación, serían muy útiles para 
poder controlar tantos otros factores que pudieran estar cambiando con 
el tiempo. También, se necesitarían más datos detallados sobre la partici- 
pación en programas existentes antes de que se implementara cualquier 
intervención. 


Evaluación de impacto y su relación con el sesgo 
Una evaluación de impacto es esencialmente un problema de falta de 
datos, porque el investigador no puede observar los resultados (outcomes) 
de los participantes del programa, si no hubieran sido beneficiarios. Sin 
información sobre el contrafactual, la siguiente mejor alternativa es 
comparar los resultados (outcomes) de pymes o individuos tratados, 
siguiendo nuestro ejemplo, con los de un grupo de comparación que no 
ha sido tratado. Al hacerlo, el investigador intenta elegir un grupo de 
comparación que sea muy similar al grupo tratado, de tal forma que, aque- 
llos que recibieron tratamiento hubieran tenido resultados (outcomes) 
similares a los del grupo de comparación en ausencia de tratamiento. 
Las evaluaciones de impacto exitosas dependen de encontrar un 
buen grupo de comparación. Allí se encuentran dos enfoques amplios a 
los que recurren los investigadores para imitar el contrafactual de un 
grupo tratado (Khandker et al., 2017): 
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Crear un grupo de comparación a través de un diseño estadístico, o 
Modificar la estrategia de focalización del programa en sí mismo, 
para eliminar las diferencias que habrían existido entre los grupos 
tratados y no tratados antes de comparar resultados (outcomes) a 
través de los dos grupos. 


La ecuación presenta el problema de evaluación básica que compara 


los resultados (outcomes) Y a través de individuos tratados y no tratados 


i: 


Y3= a X1+ BTi+ ei 


Donde: 


T Es un dummy igual a (1) para los que participan y (0) para los 
que no participan. 

X Es un conjunto de otras caracteristicas observadas del individuo 
y quizás de sus características propias como pyme, hogar, indi- 
viduo relacionadas a su entorno local. 

€ Finalmente, es un término de error que refleja características no 
observadas que también afectan a Y. 


La ecuación refleja, un enfoque comúnmente utilizado en las evalua- 


ciones de impacto, el cual es medir el efecto directo del programa T sobre 


los resultados (outcomes) Y. Los efectos indirectos del programa (es 


decir, aquellos que no están directamente relacionados con participación) 


también pueden ser de interés, como los cambios en los precios dentro de 


las áreas del programa. 


El problema con la estimación de la ecuación presentada, es que el 


tratamiento a la asignación frecuentemente, no aleatoria, debido a los 


siguientes factores: 
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a. 
b. 


Colocación intencional del programa y 
Autoselección en el programa. Es decir, los programas se colocan 
de acuerdo con la necesidad de las comunidades empresariales, 
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sociales e individuos, quienes a su vez, seleccionan un programa 
dado de diseño y colocación. La autoseleccion podría basarse en las 
características observadas, factores no observados, o ambos. En el 
caso de factores no observados, el término de error en la ecua- 
ción de estimación, contendrá variables que también están corre- 
lacionadas con el dummy de tratamiento, T. El investigador puede 
medir, y por lo tanto explicar, estas características no observadas 
en la ecuación, que conduce a un sesgo de selección no observado. 
Es decir, cov (T, €) 40 implica la violación de uno de los supuestos 
clave de ordinario mínimos cuadrados en la obtención de estima- 
ciones imparciales: independencia de los regresores de la término 
de perturbación €. La correlación entre y € sesga naturalmente las 
otras estimaciones en la ecuación, incluida la estimación del efecto 
del programa B. 


Este problema también se puede representar en un marco más 
conceptual. Suponga que el investigador, está evaluando un programa 
anti barrera de emprendimiento de innovación, como una intervención de 
crédito, destinado a aumentar ingresos de la pyme. Por ejemplo, suponga 
que ( Y, ) represente el ingreso per cápita de la pyme i. Por participantes, 
(T, )= 1, y el valor de ( Y, ) bajo tratamiento se representa como ( Y )(1). 
Por no participantes, ( T,= 0) e ( Y, ) pueden representarse como ( Y, ) (0). 
Si ( Y, ) (0), se usa entre no participantes como resultado de comparación 
para los resultados (outcomes) de los participantes ( Y, ) (1), el efecto 
promedio del programa podría representarse de la siguiente manera: 


D=E(Y, (Y | T,=1)- E(Y,(0) | T,=0) 
El problema es que los grupos tratados y no tratados pueden no ser 


los mismos antes de la intervención, por lo que la diferencia esperada 


entre esos grupos puede, no deberse completamente, para programar 
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la intervención. Si, en la ecuación, se suma y resta el esperado resul- 
tado para los no participantes si hubieran participado en el programa: 
E (Y (0) | T, = 1) u otra forma de especificar el contrafactual, se obtiene: 


D=E(Y,(1) | T, =1)- E(Y,(0) | Y,=0)+[E (Y,(0) | ,=1) 
- E (Y,(0) |1,=1)] 
D=ATE+[E(Y(0) | T,=1) - E (T,(0) | T,= 0)] 

D = ATE + B 


En estas ecuaciones, ATE es el efecto promedio del tratamiento: 
E (Y,(1) |T,=1)- E (Y, (0) | T,= 0) 


A saber, la ganancia promedio en los resultados de los participantes 
en relación con los no participantes, como si los sujetos o empresas 
pyme en nuestro caso, no participantes, también fueran tratados. El 
ATE (Average Treatment Effect) corresponde a un situación en la que se 
asigna un sujeto o pyme en nuestro caso, elegido al azar de la población 
a participar en el programa, por lo que los sujetos (pyme en nuestro caso) 
participantes y no participantes tienen un igual probabilidad de recibir el 
tratamiento T. 

El término B: 


[E (Y, (0) | T, =1) - E (%,(0) | T,= 0] 


Es el grado de sesgo de selección que surge en el uso de D como 
una estimación de la ATE (Average Treatment Effect). Dado que no se 
sabe E (Y, (0) | T, = 1), no se puede calcular la magnitud del sesgo de 
selección de D, por lo tanto, no se puede saber la diferencia exacta en los 


resultados entre los grupos tratados y de control. 


48 


CAPITULO 1. CONCEPTOS BASICOS 


El objetivo básico de una evaluación de impacto sólida, es encontrar 
formas de deshacerse de sesgo de selección (B = 0) o encontrar formas 
de explicarlo. Un enfoque, discutido más adelante, es asignar aleatoria- 
mente el programa. También se ha argumentado, que el sesgo de selección 
desaparecería si se pudiera suponer que si los sujetos (empresas pyme en 
este caso) a recibir tratamiento (condicional en un conjunto de covaria- 
bles, X) fueran independientes de los resultados (outcomes) que tienen. 
Esta suposición se llama suposición de falta de fundamento (assumption 
of unconfoundedness), también conocido como el supuesto de indepen- 
dencia condicional (conditional Independence assumption) (Lechner, 
1999; Rosenbaum y Rubin, 1983): 


[¥,(1), Y, (0)] + T, |x, 


También se puede hacer una suposición más débil de la exoge- 
neidad condicional de la colocación del programa (conditional exoge- 
neity of program placement). Estos diferentes enfoques y suposiciones 
se discutirán a en capítulos posteriores. La solidez de las estimaciones de 
impacto, depende de cuán justificables sean los supuestos están respecto 
de la comparabilidad de los participantes o grupos de comparación, así 
como del enfoque de la exogeneidad del programa en áreas tratadas y no 
tratadas. Sin embargo, si no se adopta de manera convincente alguno de 
los enfoques o suposiciones expuestos, no será posible evaluar el alcance 
del sesgo B. 
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Describiendo un caso 


El problema de evaluación consiste en medir el impacto del programa (o 
tratamiento) sobre un conjunto de variables de resultado en un conjunto 
de individuos (Bernal y Peña, 2011). Por ejemplo, en el efecto que tiene 
un programa de introducción de tecnología móvil para el aprendizaje, 
desarrollado en Mejía-Trejo et al. (2015) donde se espera la interacción 
de las variables: 


a. Tecnología (TECH. Technology) 

b. Contenidos de enseñanza aprendizaje y estilos (CTLMS. Contents 
Teaching-Learning Management and Styles) 

c. Rol profesor-estudiante (PSR. Professor-Student Role) 

d. Aprendizaje móvil (ML. Mobile Learning) 


De los individuos participantes, nos arroja los siguientes resultados a 
partir de la observación: 


1. Las variables de resultado son las variables sobre las cuales se 
espera que el programa tenga un efecto en los individuos bene- 
ficiarios del programa evaluado. En nuestro ejemplo, serían los 
indicadores del estado de adopción de tecnología móvil para el 
aprendizaje (ML) porque el programa trata de las variables que se 
incluyen para su adopción. El problema de evaluación de impacto, 
consiste entonces en establecer la diferencia entre la variable de 
resultado del individuo participante en el programa en presencia 
del programa y la variable de resultado de ese individuo en 
ausencia del programa. Esta diferencia es lo que se conoce como 
efecto del tratamiento o programa. El problema fundamental que 
se enfrenta en una evaluación de impacto es que para construir el 
efecto del tratamiento necesitaríamos conocer la diferencia entre 


la variable de resultado del individuo participante una vez se ha 
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implementado el programa y la variable de resultado que habria 
obtenido ese individuo en el caso hipotético de que no existiera el 
programa. Claramente, no se pueden observar ambos resultados 
para el mismo individuo al mismo tiempo. 

El segundo resultado, es decir, el resultado del individuo partici- 
pante si el programa no existiera, es hipotético y, por ende, no se 
observa. Este resultado hipotético se denomina resultado contra- 
factual en la literatura de evaluación de impacto. 

Se debe tener un marco teórico de referencia para formalizar el 
problema de la evaluación de impacto (Mejía-Trejo et al., 2015). 
Formalmente, definimos el indicador del tratamiento como D, 
En el caso en que el programa que el tratamiento es binario (por 
ejemplo, el sujeto participa en el aprendizaje móvil o no participa) 
entonces D, = (1) si el individuo i recibe el tratamiento (es tratado) 
y (0) de lo contrario. Las variables de resultado se definen como 
Y (D, ) para cada sujeto i = (1) ... N y N denota la población total. 
Es decir, Y, (1) es la variable del individuo i no es tratado. El efecto 
del tratamiento (o impacto del programa) para un individuo i se 
puede escribir como: 


= Y (1) -Y(0) (1.1) 


De nuevo, el problema fundamental de la evaluacion de impacto es 
que en la realidad, solo se da uno de los dos resultados potenciales 
Y (1) o Y (0) para cada individuo i pero no ambos. Es decir, en 
los datos solo queda registrado Y, (1) si D, = (1) y D, = (0). En 
otras palabras, el investigador no dispone del resultado con trata- 
miento si el individuo no fue tratado, Y, (1) si D,= (0) ni dispone 
del resultado en ausencia del tratamiento si el individuo ha sido 
efectivamente tratado Y, (0) si D, = (1). Note que el impacto del 
programa medido por la diferencia de t,= Y, (1) - Y, (0), se refiere 
aun momento dado en el tiempo y, por lo tanto, no es equivalente 
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a comparar el mismo individuo en dos momentos distintos del 
tiempo (antes y después de la intervención). Por tanto, el resultado 
observado se puede escribir como: 


Y= D,Y(1) + (1 -D) Y, (0) = Y (0) si D=(0) o 
Y (si D=(1) (1.2) 


En este caso, y en adelante, se entiende que una variable es obser- 
vada si la información existe y está registrada en los datos a dispo- 
sición del investigador. De manera análoga, una variable no obser- 
vada es aquella que no existe o no quedó registrada en la base de 
datos disponible. Debido a que uno de los dos resultados en la 


ecuación: 
t= ¥,()-¥(0) 


No es observable para cada individuo i, no es posible estimar el 
efecto individual promedio del tratamiento, del tratamiento, t,. El 
análisis se debe concentrar en el impacto promedio del programa 
en la población o en subconjuntos de la población (dependiendo 
del interés de política que se tenga). 

En primera instancia, se puede estimar el impacto promedio del 
programa (o efecto medio del tratamiento) en la población (ATE): 


Yar 7 bes (1) - Y (0)] (1.3) 
Donde E [:] denota el operador de expectativas. Una representa- 
ción simple de la variable de resultado con base en el modelo de 


regresión lineal está dada por: 


Y= Bet DFU (1.4) 
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Donde: 
t= Y- Y0) y Y,(0)= ELY, (0)+u= B,+u, 


5. El resultado efecto ty > 


en la variable de resultado cuando un sujeto escogido al azar, pasa 


se interpreta como el cambio promedio 


aleatoriamente de ser participante a no participante. Este pará- 
metro es, particularmente relevante en el caso de la evaluación de 
un programa universal. En la mayoría de los casos, sin embargo, 
el tratamiento o programa no es universal sino que solo está dispo- 
nible para un subconjunto de la población, generalmente porque el 
programa ha sido focalizado. En este caso, es posible utilizar un 
estimador únicamente que promedie el efecto sobre la población 
elegible. 

6. Por un lado, se puede utilizar el impacto promedio del programa 
sobre los tratados (ATT. Average Treatment on Treated), que es, 
por lo general, el parámetro de mayor interés en una evaluación de 
impacto. Es decir, el efecto promedio del tratamiento en el subcon- 
junto de individuos que fueron efectivamente tratados. Éste corres- 
ponde a la diferencia entre la media de la variable de resultado, en 
el grupo de los participantes y la media que hubieran obtenido los 


participantes si el programa no hubiera existido: 
t= EG 1D,=(0)=E (Y. (01D,= (0) -ELY.(0)1D,=(D] (1.5) 


Donde: E [ | D] denota el operador de expectativas condicional 
En este caso: 


ELY) |D= 0] 
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Es el valor esperado de la variable de resultado en el grupo de trata- 


miento en presencia del tratamiento y: 
E [ Y (0)|D,=(1)] 


Se conoce como el resultado contrafactual, es el valor esperado de 
la variable de resultado en el grupo de tratamiento en ausencia del 
tratamiento. Evidentemente, el promedio contrafactual, es decir, el 
resultado promedio de los individuos tratados de no haber existido 
el programa o tratamiento, es un resultado hipotético, por lo cual 
no se observa en la realidad, y por tanto no queda registrado en los 
datos. El efecto promedio del programa sobre los tratados es parti- 
cularmente relevante para definir si un programa existente debe 
continuar o, por el contrario, debe eliminarse o modificarse. 

Por otra parte, se puede estimar el impacto promedio del programa 
sobre los no participantes (ATU. Average Treatment on the 
Untreated), que corresponde a la diferencia entre la media de la 
variable de resultado que habrían tenido los no participantes si 
hubieran participado en el programa y la media de la variable de 
resultado que efectivamente tuvieron los no participantes al no 
haber participado: 


tau = E(4,1D,=(0))= E LY, (1) | D, = (0)] - E L Y, (0) | D,= (0)] (1.6) 
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En este caso, el resultado contrafactual: 
E [ Y, (1) | D, = (0)] 


Corresponde al promedio de la variable de resultado de los no 
participantes si hubieran participado en el programa, dado que 
estos individuos no han sido tratados. Evidentemente, este contra- 
factual es hipotético, por lo cual no se observa en la realidad, y 
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por tanto no queda registrado en los datos. El parámetro t,,,, es 
relevante cuando la evaluación tiene por objetivo investigar si el 
programa se debe extender o no a otros grupos de la población. En 


cualquiera de los dos casos, ty, Y tary» es necesario escoger una 


TU ? 
aproximación apropiada (o sustituto) del contrafactual dado que 
este es un resultado hipotético que no se observa en la realidad, 
y por tanto no queda registrado en los datos. Por ejemplo, en el 
caso del t,,, se requiere una aproximación de E [ Y, (0) | D, = (1)], 
es decir, el promedio de la variable de resultado entre los partici- 
pantes en ausencia del programa. En principio, se podría utilizar el 
promedio de la variable de resultado entre los individuos no parti- 
cipantes pero elegibles para participar en el programa (conocido 


como el grupo de control, o grupo de comparación): 
E [ Y (0) | D,= (0)], como una aproximación de E [ Y, (0) | D, = (1)] 


Es decir, se podría utilizar el resultado de los no participantes (pero 
elegibles) como aproximación del resultado que habrían tenido los 
participantes si el programa no hubiera existido. 

8. Sin embargo, esta comparación podría generar estimaciones 
inexactas del efecto del programa, dado que los participantes y 
los no participantes generalmente son diferentes, aun en ausencia 
del programa. Por ende, las variables de resultado del grupo de 
tratamiento y el grupo de control podrían ser diferentes, aun si el 
programa no existiera. Este problema se conoce como sesgo de 
autoselección. Por ejemplo, es posible que los participantes en el 
programa de aprendizaje móvil (ML) provengan de familias más 
vulnerables que los participantes elegibles pero que no participan 
en el programa. Las variables de vulnerabilidad, como el ingreso 
del hogar y la accesibilidad a equipos móviles, pueden tener 
efectos directos sobre los indicadores que estamos utilizando como 
variable de resultado (ML), aparte del efecto directo del programa 
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evaluado. Por ejemplo, en hogares con más ingreso, el acceso 
a equipos móviles puede ser mejor que en hogares con menos 
ingresos. De ser así, al comparar los resultados de tecnología, por 
ejemplo, del grupo de tratamiento con los del grupo de control, 
podríamos estar atribuyendo al programa un efecto negativo que 
en realidad se debe a que el grupo de participantes tratados está 
más restringido (por ingresos, por acceso a la tecnología móvil, 
etc.) que el grupo de participantes usados como control. En este 
caso, estaríamos subestimando el efecto del programa, debido a 
que no hemos tenido en cuenta las diferencias preexistentes entre 
los dos grupos que afectan tanto la probabilidad de participación 
en el programa como la variable de resultado (aprendizaje vía 
movil ML). Además de posibles diferencias observadas entre los 
dos grupos (como los ingresos, el acceso a la tecnología móvil, 
el conocimiento de las apps, etc.), es también posible que existan 
diferencias no observadas o no medidas entre los dos grupos. Por 
ejemplo, puede ser que los padres de familia participantes en el 
programa, estén más motivados o atentos o sean más proactivas 
respecto al desarrollo de sus hijos, por lo cual se esmeran en lograr 
la participación en el programa. El problema de autoselección 
radica en que la motivación de los padres (que no observamos y 
sería dificil de medir) afecta no sólo la probabilidad de participar 
en el programa, sino también al estado de aprendizaje de los estu- 
diantes. Esto es porque los padres más motivados podrían vigilar 
mejor el acceso tecnológico de sus hijos. Por tanto, la diferencia 
observada en el estado de aprendizaje de los participantes de los 
dos grupos se podría deber parcialmente a la diferencia en el nivel 
de motivación de las padres, y no exclusivamente a que un grupo 
participa en el programa y el otro no. 

Note que, la comparación entre el promedio de la variable de resul- 
tado de los participantes y el promedio de la variable de resultado 
de los no participantes está dada por: 
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E [Y (1) | D, = (0)] - E [ Y, (0) | D, = (0)] 
Adicionalmente, se sabe que: 


tr = ELY, (1) |D; = 01- E LY, 0) | D= 01 
burt E LY, (0) | D, = (D) = E L Y, (1) | D,= (I 


Restando E [ Y, (0) | D, = (0)] a ambos lados de la ecuación, se 
obtiene: 


tort ELY,(0)|D,=()]-EL¥@|D,=@l= EL¥()|D,= (1) 
-ELY,(0)|D,=()] (1.7) 


Donde el lado derecho de la ecuación, es la diferencia entre el 
promedio de la variable de resultado de los participantes y el 
promedio de la variable de resultado de los no participantes. De la 
ecuacion, se deduce que utilizar: 


E [ Y (0) | D, = (0)] aproximación del contrafactual, 
E [ Y, (0) |D,=(D)] 


Permite recuperar el t, si y solo si: 
E[ Y, (0) | D,=(1)]- EL Y (0)| D, = (0) =0 (1.8) 


Esta condición implica, que la variable de resultado en ausencia 
del programa, debería ser idéntica para el grupo de individuos 
tratados (D = 1) y el grupo de individuos no participantes o grupo 
de control (D=0), lo cual, como ya se ha expuesto, es un supuesto 
bastante fuerte. Por esta razón, la simple comparación de medias 
de las variables de resultado entre el grupo de tratamiento y el 
grupo de control generaría una aproximación inexacta del efecto 
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10. 


Carr 


del programa sobre el grupo de participantes tratados, con excep- 
ción de un programa implementado a manera de experimento 
aleatorio. 

Si el supuesto anterior se cumple, es decir, si el valor promedio de 
la variable de resultado en ausencia del programa fuera idéntico 
para el grupo de individuos tratados (D = 1) que para el grupo de 
individuos no participantes (D = 0), entonces el efecto del programa 
estaría dado por: 


= E [ Y, (1) | D, = (1)] - E [ Y; (0) | D, =(0) (1.9) 


En este caso, el estimador t pr 


de la ecuación anterior, es decir: 


estaría dado por el análogo muestral 


ta CFID =Y D= 0] (1.10) 


Donde Y’ | D es el promedio muestral de la variable de resultado, 
dado el estatus de participación (D). Es decir, el estimador del 
efecto del programa bajo el supuesto del punto 9: 


E [ Y, (0) | D, = (1)1 - E L Y, (0) | D,= (0)] = 0 


Resulta de comparar el promedio muestral de Y en el grupo de 
tratamiento con el promedio muestral de en el grupo de control. 
Esta comparación de medias, se puede implementar fácilmente por 
el método de regresión de la siguiente manera: 


Y= 6,760.7 u, (1.11) 
Donde Y, es la variable de resultado para el individuo i, D, es una 


variable binaria, también conocida como variable dummy o dico- 
tómicas, que toma el valor de (1) si el individuo i paticipa en el 
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tratamiento (o programa) y (0) si el individuo i es elegible pero 
no participa en el programa, y u, es el término de error de la 
regresión, que recoge las variables observadas y no observadas 
del individuo i, aparte de D, , que afectan la variable de resultado. 


Como t,rr es generalmente el parámetro de interés en evaluación 


T 
de impacto, en adelante nos referimos simplemente a t . 

Si el supuesto: E [ Y (0) | D, = (1)] - E [ Y (0) | D, = (0)] = 0 se 
cumple, entonces no existe correlación entre la participación en el 
programa (el indicador D, ) y todas las características del individuo 
contenidas en u, porque el supuesto implica que los individuos 
participantes son idénticos a los individuos no participantes. En 
otras palabras, la participación es independiente de las caracterís- 


ticas del individuo y, por lo tanto: 

E [ Y (0) | D, = (0)] 
Es una aproximación adecuada del contrafactual: 

E [ Y 0) |D, = (D] 
Formalmente, esto implica que : 

E (u, | D,)= (0) (1.12) 

Éste se conoce como el supuesto de independencia condicional e 
indica que conocer ( D,) no añade ninguna información adicional 
acerca de u,. En otras palabras, los individuos que participan en el 
programa, no son sistemáticamente distintos de los individuos que 


no participan en el programa en características contenidas en u, . 
Bajo el supuesto: 


E(u|D,)=(0) 
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El estimador de c por el método de mínimos cuadrados ordinarios 
(OLS. Ordinary Least Squares) es consistente e insesgado. Lo 
primero implica que el estimador de B, por OLS (Ordinary Least 
Squares), B,;, converge en probabilidad a f,, es decir, el límite del 
estimador a medida que aumenta el tamaño de muestra es exacta- 
mente el parámetro que se va a estimar. Lo segundo significa que 
el valor esperado del estimador de OLS es igual al valor del pará- 
metro, es decir: 


E (B,) = B, 


Independientemente del tamaño de la muestra. El parámetro f, en 
la ecuación: 


Y = B, + B,D, +u, 
Se obtiene: 


EL¥,()|D,=(1=£(6,+ B, + 4,|D,=()) = fP, + B, +E (u, | D, = 
(D =P, + B, 
E[Y,(0)/D, =(0)] =E (B, +u, | D,= (0) = P, +E (u, | D,=(1)=B, 


Porque: E (u, | D, = (0)) 
Entonces: 


t =E [Y (1) |D, = (1)] - E [ Y, (0) | D, = (0)] = (B, + B) - B= P, 


El estimador de OLS (Ordinary Least Squares) de f3, estaría dado 
por: 


B? =IY|D=(1)-[ Y |D= (0) (2.13) 
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Que coincide precisamente con la definición del t’ pr previsto en la 
ecuación 2.10: 


Cap LY |D=(MI-TY|D=@)] (2.10) 


Con las reflexiones anteriores y volviendo al caso descrito, suponga 
que debemos evaluar el impacto hipotético de un programa de 
aprendizaje móvil (ML) basado en el modelo de Mejia-Trejo et 
al. (2015) dirigido a niños entre los 6-15 años de edad prove- 
nientes de familia con ingresos considerados de clase media-alta. 
El programa consiste, en la provisión de sujetos que cuentan con 
un mínimo de acceso, tanto de equipos móviles (Smartphone/ 
Tablet/LapTop) así como de internet de alta velocidad, con benefi- 
cios económicos en cuanto a descuentos en el servicio de internet 
como equipos móviles a utilizar. La composición de los sujetos 
participantes, es revisada por especialistas en métodos de tecno- 
logías de aprendizaje, para asegurarse de que los contenidos de 
los programas educativos sean adecuados, dadas las edades de los 
niños beneficiarios. Por lo que el indicador de participación en el 


programa, se define como: 


D,= (1) si el niño elegible i participa en el programa (ML) 
(0) si el niño elegible i no participa en el programa (ML) 


Así, los niños de familias entre los 6-15 años de edad, que parti- 
cipan en el programa, constituyen el grupo de tratamiento, mien- 
tras que los niños de familias entre los 6-15 años de edad, que no 
participan en el programa, constituyen el grupo de control. Como 
variable de resultado (outcome) de interés, (ML)= ( Y, ), se identi- 
fica el puntaje Z (Z-Score). El puntaje Z (Z-Score), corresponde al 
nivel de aprendizaje, según la edad acordada por los especialistas 
en tecnologías del aprendizaje estandarizada de acuerdo con las 
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medias y varianzas poblacionales, por grupos de edad y sexo. El 
puntaje Z de nivel de aprendizaje según la edad resulta de restarle 
el nivel de aprendizaje del niño la media poblacional de aprendi- 
zaje para su grupo de edad y sexo y dividir esta diferencia por la 
desviación estándar del nivel de aprendizaje de su grupo de edad 
y sexo en la población. El resultado indica el número de desvia- 
ciones estándar que el niño está por encima (o por debajo) de su 
media poblacional. Un puntaje Z de cero, indica que el niño se 


ubica exactamente en la media de su grupo. Por lo que: 


e ElY (1)|D,= (1)] es en este caso, el promedio del puntaje Z de 
aprendizaje móvil (ML) en el grupo de tratamiento en presencia 
del programa. 

e E [ Y, (0) | D, = (1)] es en este caso, el promedio del puntaje Z de 
aprendizaje móvil (ML) en el grupo de tratamiento en ausencia 
del programa. Es decir, cuál habría sido el promedio del puntaje 
Z de aprendizaje móvil (ML) según la edad en el escenario hipo- 
tético de que el programa no hubiera existido. Este contrafac- 
tual no se observa, y esto constituye la principal dificultad de la 
evaluación de impacto. 

° E [ Y, (0) | D, = (0)] es el promedio del puntaje Z de aprendizaje 
móvil (ML) en el grupo de niños no participantes (o grupo de 
control). 


Suponga que la variable de resultado en que estamos intere- 
sados, es la incidencia de bajo rendimiento crónico del aprendi- 
zaje, es decir, la probabilidad de que el aprendizaje del niño esté 
dos desviaciones estándar por debajo de lo que deberia estar, 
dados su edad y su sexo (es decir, que el puntaje Z de aprendi- 
zaje móvil (ML) según la edad sea menor que —2). En este caso, 
E [ Y, (1) | D, = (1)] sería el porcentaje de niños participantes 


con bajo rendimiento crónico del aprendizaje en presencia del 
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programa. Si sucediera que los promedios del puntaje Z de apren- 
dizaje movil en el grupo de tratamiento y en el grupo de control 
son idénticos en ausencia del programa (es decir, se cumpliera el 
supuesto de la ecuación 2.8), entonces el efecto del programa se 
podría estimar simplemente comparando la media de la variable 
de resultado en el grupo de tratamiento con la media de la variable 
de resultado en el grupo de control. Esto se puede implementar 
con una regresión lineal del puntaje Z de aprendizaje móvil (ML) 
según la edad (Y, ) sobre la variable binaria de la participación, D, , 
estimada por la OLS (Ordinary Least Squares). 


Y =P,+P,D, +u, 


P; sería el efecto del programa de aprendizaje móvil escogido si se 
cumple el supuesto de independencia condicional de la ecuación 
1.12. 


En este apartado, se asume que el investigador sabe exactamente 
cuál es la variable de resultado Y, que quiere medir y tiene los datos a 
disposición. En general, la elección de una variable de resultado Y, con 
base en la cual se determinará la efectividad de un programa no es una 
pregunta trivial. La elección de Y, debe estar guiada principalmente por 
los objetivos y lineamientos del programa que se evalúa. Por ejemplo, el 
programa hipotético anterior, basado en la introducción del aprendizaje 
móvil (ML), basado en el modelo de Mejía-Trejo et al. (2015), tiene 
como objetivo mejorar el aprendizaje de los niños beneficiarios, con base 
a los requerimientos comentados. Por tanto, es razonable que la variable 
de resultado seleccionada sea un indicador del estado de aprendizaje de 
los niños (por edad, género, condiciones de alcance tecnológico, etc.). 
Existen casos como éste en que la selección de la variable de resultado 
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es relativamente obvia, pero también existen casos en los que no es 
elemental. 

Por ejemplo, suponga un programa innovador para pymes/mipymes 
como grupos vulnerables económicamente. El programa consiste en la 
provisión de una suma de dinero mensual que corresponde a un determi- 
nado número de salarios mínimos diarios. En los objetivos y lineamientos 
se establece que el programa está diseñado para proteger pymes/mipymes 
contra el riesgo económico de la imposibilidad de generar ingresos, 
disminuir su vulnerabilidad por el tipo de actividad de bajos recursos 
y propiciar su inserción en la comunidad. En este caso, ¿cuál sería la 
variable de resultado Y, ideal si le pidieran evaluar este programa? No 
es tan sencillo. En principio, podría ser un indicador los ingresos, puesto 
que las pymes/mipymes podría estar mejorando su estado financiero 
como resultado del aumento en el ingreso asociado a la participación en 
el programa. Sin embargo, las pymes/mipymes podrían estar gastando el 
dinero en cosas diferentes a sus insumos de operación totalmente ajenos 
al programa como alimentos, medicamentos u otros elementos asociados 
con un mejor estado de bienestar aparente, por lo cual la evaluación 
podría generar una conclusión muy negativa acerca del programa. 

Por otra parte, la variable de resultado Y, podría ser más ser más bien, 
una medición de la cantidad de proyectos a realizar con posibilidades 
reales de compra por parte de los interesados, a partir de asesorías diri- 
gidas. Si las pyme/mipyme como personas morales, no perciben el sufi- 
ciente reconocimiento de su actividad por los productos o servicios que 
ofrecen, a través de asesorías especializadas, se desarrollan con planea- 
ciones estratégicas de deficientes, errática, poco realistas, etc. Entonces 
el hecho de que se les ofrezca participar en el programa, tendería a una 
mayor motivación que les impulse a generar mayor productividad, y el 
impacto podría verse más bien reflejado en una planeación estratégica 
más precisa, realista, alcanzable. Resulta que no es tan sencillo diseñar 
instrumentos que midan adecuadamente el nivel de planeación estraté- 
gica o el nivel de inserción de la pyme/mipyme en su comunidad. 
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Como se puede apreciar, encontrar una variable de resultado 
adecuada en este caso es todo un reto para el evaluador. Note, sin 
embargo, que en principio éste es el resultado de una política cuyo diseño 
es demasiado general y, por tanto, evaluar los logros de tales interven- 
ciones es generalmente muy difícil. En suma, el evaluador debe tratar 
de relacionar, de la mejor manera posible, los objetivos, lineamientos 
y forma de operación del programa, con variables de resultado que se 
espera que puedan medir de manera relativamente razonable el desem- 
peño del programa (Bernal y Peña, 2011). 


El sesgo de selección 
Como se explicó, la evaluación de impacto consiste en la estimación de: 


Pa = E(t,|D,= )=ELY,()|D,=(@I1-ELY,0)|D,=@] (1.9) 
Donde: 


E[ Y (1) | D, = (1)] es el valor esperado de la variable de resul- 
tado entre los participantes en el programa en presencia del programa a 
E [ Y, (0) | D,= (1)], o resultado contrafactual, es el valor esperado de la 
variable de resultado, entre los participantes en ausencia del programa. 
En otras palabras, evaluar la diferencia entre la variable de resultado 
entre el grupo de tratados si existe el programa y la variable de resultado 
entre el grupo de tratados si no se hubiera implementado el programa. 
Claramente, no es posible observar ambos resultados al mismo tiempo. 
Sin embargo, sí se puede observar la variable de resultado entre un grupo 
de individuos elegibles que no participan en el programa (o grupo de 
control), E [ Y, (0) | D,= (0)]. 

El principal reto de la evaluación de impacto, es determinar las condi- 
ciones bajo las cuales E [ Y, (0) | D, = (0)], se puede utilizar como una 
aproximación válida de E [ Y, (0) | D, = (1)], y por lo tanto, utilizarse en 
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la ecuación 2.9 para obtener el efecto del programa t,,., - Evidentemente, 
E [ (0) | = (0)], se podría utilizar como una aproximación adecuada del 
contrafactual, si: 


E L Y, (0) | D, = (1)] = E L Y (0) | D, = (0)] (1.13) 


Es decir, si la variable de resultado, en ausencia del programa, es 
idéntica para el grupo de individuos tratados (D = 1) que para el grupo 
de individuos de control (D = 0). El supuesto de la ecuación 1.13 se viola 
toda vez que la participación en el programa es una elección del indi- 
viduo elegible. La razón es que los participantes y los no participantes 
generalmente son diferentes, aun en ausencia del programa, y por tal 
motivo, es precisamente que se observa que unos escogen participar y 
otros no, aún si todos son elegibles para recibir el tratamiento. Es decir, 
existen características (observadas y/o no observadas) que causan que 
unos individuos participen y otros no. Probablemente, las diferencias en 
estas características entre individuos participantes e individuos no parti- 
cipantes también originen diferencias en la variable de resultado entre un 
grupo y el otro. Por ende, es muy probable que la variable de resultado 
del grupo de tratamiento y la variable de resultado del grupo de control 
sean diferentes, aún si el programa no existiera. Este hecho se conoce 
como sesgo de selección. 


Recuerde que el t pr se puede escribir como: 


T 


E [ Y, (1) | D, = (D1 - E L Y, (0) 1D,=()] = ty, + E[Y,(0)|D,=(0)] 
- E LY, (0) | D,= ()] (1.14) 


Donde: 


E [ Y (0) | D, = (1)] - E [ Y (0) | DF (1)] es el sesgo de selección. 
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En la ecuación 1.14 es claro que si los individuos del grupo de trata- 
miento y el grupo de control son diferentes, aun en ausencia del trata- 
miento (la segunda parte al lado derecho de la ecuación), entonces la 
diferencia entre la media del grupo de tratamiento y la media del grupo 
diferencia de control preexistente (el lado izquierdo entre los de dos la 
grupos, ecuación) término será igual que al t „p más la diferencia preexis- 
tente entre los dos grupos, término que denomina sesgo de selección. Es 
decir, la comparación de medias entre el grupo de tratamiento y el de 
control será una combinación del efecto directo del tratamiento, t,,., y las 
diferencias preexistentes entre los dos grupos: 


E[Y(0)|D=(1)]- EL Y(0)|D= (0)] 


Y sin información adicional, el investigador no puede descifrar qué 
parte se debe a qué. En suma, los individuos que se autoseleccionan en 
el grupo de tratamiento son sistemáticamente diferentes (en formas que 
observamos y formas que no observamos) de los individuos que se auto- 
seleccionan en el grupo de control, y precisamente por eso participan en 
el programa. Esas diferencias sistemáticas pueden estar relacionadas, a 
su vez, con la variable de resultado, objeto de la evaluación de impacto. 

En la sección anterior, se explicó que si se cumple el supuesto de 
la ecuación 1.13, entonces, el efecto del programa sobre la variable de 
resultado, estimada por mínimos cuadrados ordinarios de la siguiente Y, 
es la pendiente de la regresión lineal: 


Y = B, + B,D, +u, (1.15) 


Donde D, es el indicador del estatus del tratamiento. 
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En este caso, B,’ por OLS (Ordinary Least Squares). es un estimador 
consistente e insesgado del efecto del programa porque E (u, | D) = (0). 
Es decir, no hay correlación entre la decisión de participar o no en el 
programa, D,, y las características en el término de error, u,. Sin embargo, 
si la participación en el programa es una decisión de los sujetos, es impro- 
bable que se cumpla el supuesto: 


E (u, | D,) = (0) 


Esto se presenta, porque es posible que los sujetos que deciden parti- 
cipar en el programa lo hagan debido a que son sistemáticamente dife- 
rentes de los sujetos que deciden no participar. Algunas de estas diferen- 
cias pueden, a su vez, explicar la variable de resultado Y, y por tanto, estar 
contenidas en el término de error u, . Dicho el de otra manera, saber si un 
sujeto participa o no participa en el programa informa sobre las variables 
no observadas del individuo contenidas en u, por lo cual se invalida el 
supuesto de independencia condicional. 

Suponga que el programa de aprendizaje móvil (ML) caso hipotético 
de Mejía-Trejo et al. (2015), visto en la sección anterior, se ofrece y los 
individuos elegibles deben decidir si quieren participar o no. Además, 
participar tiene un costo en tiempo y trámites, debido a que los padres del 
niño elegible deben acercarse a la oficina de la institución encargada de 
administrar el programa, diligenciar un formulario de inscripción y llevar 
al niño potencialmente participante a un control en el que se registran sus 
condiciones iniciales (nombre, edad, género, equipo móvil, contenidos, 
acceso a internet, etc.). Aunque todas los padres de niños entre los 6-15 
años de edad que pertenecen al perfil de clase media-alta son elegibles 
para el programa, es muy probable que un conjunto de padres considere 
que el costo de inscribirse para participar en el programa es muy alto 
por motivos diversos como no ser atractivos los descuentos ofrecidos en 
la adquisición de equipos móviles, las tarifas de acceso a internet, las filas 


son muy largas, el examen de aptitudes de los niños es muy demorado o el 
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lugar de inscripcion en el que se lleva a cabo, esta muy lejos, por lo cual 
preferirán no participar. Es decir, se podria pensar que los padres que si 
deciden participar son aquellas más proactivos y motivados y que, a pesar 
del costo de participación, se preocupan por sus hijos y su bienestar lo 
suficiente (o tienen el tiempo disponible) como para ir hasta la oficina, 
hacer la fila, sacar la cita en el sitio de examen, ir para asistir a la cita, 
volver, etcétera. 

Note entonces que los padres participantes y los padres no partici- 
pantes son diferentes en cuanto a su perfil de padre, la disponibilidad de 
tiempo, su disposición a ocuparse de los hijos, etc. Estas características, 
algunas de las cuales no son observadas por el evaluador porque no 
existen mediciones o porque no fueron registradas en los datos (como 
qué tan dedicado es un padre hacia sus hijos), pueden también afectar el 
nivel de aprendizaje de los niños participantes y no participantes. Por 
ejemplo, los padres más proactivos y motivados pueden ser también aque- 
llas que se preocupan más por el aprendizaje de los niños y, por tanto, les 
ofrecen mayores atenciones, les procuran sus equipos móviles, les llevan 
controles de aprovechamiento, etc. Es decir, sería una variable contenida 
en u, porque explica la medida de aprendizaje (o variable de resultado), 
Ye 

Dado que existen características observadas y no observadas de los 
sujetos, contenidas en u,, que explican tanto la decisión de participar en el 
programa como la variable de resultado, entonces: 


E (u, | D) <> (0) 


Es decir, la participación en el programa ( D,), sí esta correlacionada 
con el término de error en la regresión el programa de la ecuación (1.15). 
Esto constituye la violación de uno de los supuestos fundamentales del 
modelo de regresión lineal (independencia condicional) y, por ende, los 
estimadores de mínimos cuadrados ordinarios no serán insesgados. Esto 
se debe a que para demostrar que el estimador OLS (Ordinary Least 
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Squares) es insesgado, se requiere que cumpla el supuesto E (u,| D,) = (0). 
Esto implica que el valor esperado del estimador del efecto del programa 
estimado por OLS no corresponde al efecto verdadero del programa sino 
que está subestimado o sobrestimado, según sean las características no 
observadas de los individuos. En otras palabras, el efecto del programa 
no se puede obtener por la simple comparación de medias de la variable 
de resultado entre el grupo de tratamiento y el grupo de control. 

Intuitivamente, si hay variables que explican tanto la participación 
en el programa como la variable de resultado, la comparación de medias 
puede estar atribuyendo al programa un efecto que en realidad se debe a 
las diferencias preexistentes entre el grupo de tratamiento y el grupo de 
control. En nuestro ejemplo del programa de aprendizaje móvil (ML), 
si los padres participantes son más dedicados y están más motivados 
que las padres no participantes, entonces podemos estar atribuyendo al 
programa un efecto positivo sobre el estado de aprovechamiento o apren- 
dizaje de los niños, cuando en realidad la diferencia en las medidas a 
favor de los niños tratados se debe a que tienen padres más pendientes de 
su aprendizaje que los niños de control, y no al programa en explica tanto 
la participación sí. Por lo que: 


1. Si en la característica del individuo X, que explica tanto la parti- 
cipación en el programa como la variable de resultado, es obser- 
vable y está contenida en la base de datos disponible, entonces este 
problema se soluciona simplemente incluyéndola en la regresión 
de la ecuación 1.15 como una variable explicativa adicional: 


Y = B, + B,D, + B, X,+ u, (1.16) 


Donde X, es una característica observable del individuo, que explica 
tanto la participación en el programa como la variable resultado Y.. 
2. Por ejemplo, si los nifios de padres mas pobres son aquellos que 
deciden participar en el programa de aprendizaje movil (ML), 
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mientras que los individuos más ricos eligen no hacerlo, entonces 
diferencia entre los X, participantes seria el indice de riqueza del 
hogar. Si esta es la única diferencia entre los participantes y los 
no participantes, entonces el estimador de f, en la ecuación 1.16 
por OLS (Ordinary Least Squares) es un estimador consistente e 
insesgado del efecto del programa. 

Si las diferencias entre los participantes y no participantes son 
todas observables (y la base de datos contiene información acerca 
de todas ellas), entonces la regresión de la ecuación 1.15 se puede 
extender para incluir todas esas características. Si todas las diferen- 
cias entre el grupo de tratamiento y el grupo de control se incluyen 
en la regresión, entonces los factores restantes contenidos en u, son 
efectivamente independientes de la decisión de participar, D, y por 
lo tanto, el estimador de B, por OLS (Ordinary Least Squares), es 
un estimador insesgado y consistente del efecto del programa. 

Sin embargo, en la mayoría de los casos, algunas de las diferen- 
cias entre los participantes y los no participantes no se observan o 
son características (en principio observables) que no están conte- 
nidas en la base de datos. Por ejemplo, los padres más dedicados 
a sus hijos pueden ser más propensos a participar en el programa 
de aprendizaje móvil (ML) que los padres menos dedicados. Pero 
¿qué tan dedicado es un padre? no es una variable incluida en las 
encuestas. Por lo tanto, aunque sabemos que ésta es una diferencia 
entre los beneficiarios y los no beneficiarios por la que debemos 
controlar en la ecuación 1.16, no tenemos los datos a disposición. 
En este caso, el estimador de OLS (Ordinary Least Squares) de B, 
estd sesgado, es decir: 


E(B.) > B, 6 ECB?) <B, 


La dirección precisa del sesgo (llamado sesgo de selección, por 
las razones que se han expuesto anteriormente) depende de la rela- 
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ción existente entre la participación en el programa y la variable 
que diferencia a los participantes de los no participantes (llámese 
W), y de la dirección del efecto de la variable excluida W sobre la 
variable de resultado Y. Teniendo en mente el siguiente modelo: 


Y = B, + B,D, + P, X,+ u, 


Donde W es una característica no observable (o no contenida en la 
encuesta), la dirección del sesgo de B, por OLS (Ordinary Least 
Squares). Sobre la regresión de la ecuación 1.15, se resume como 
se observa en la Tabla 1.2 


Tabla 1.2. Dirección del sesgo de f$, por OLS sobre la regresión 


Ítems Corr (D,, W) > 0 Corr (D,, W) < 0 
B,>0 E(B,’ ) > B, E(B.) <P, 
B, <0 E(B,’ )< B, E(B.) > B, 


Donde Corr (D,, W,) es la correlación entre D, y W, 
Fuente: Bernal y Peña (2011). 
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5. 


a. 


b. 


Por ejemplo, tomemos el caso de la primera celda (superior-iz- 
quierda). Si a mayor dedicación de los padres (variable W no 
observada): 
Mayor es la probabilidad de participar en el programa aprendizaje 
movil (ML), y entonces Corr (D,, W,) > 0. 
Si, además, la dedicación de los padres aumenta el aproveca- 
miento del niño según su edad (variable de resultado Y) porque 
existe una mayor atención en la procuración de los medios tecno- 
lógicos y en el seguimiento de los contenidos, entonces B, > 0. En 
este caso, el estimador de OLS (Ordinary Least Squares) de B? 
en la regresión de la ecuación 1.15 estaría sesgado hacia arriba: 
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E(B.) > B, 


Es decir, el efecto estimado del programa sobre el peso según el 
aprovechamiento o aprendizaje, es mayor que el efecto verdadero 
del programa. Esto se presenta porque, al no poder incluir W en la 
regresión, le estamos atribuyendo al programa parte programa, (D) 
parte del efecto positivo que tiene W sobre Y. Es decir, se le atri- 
buye al programa parte del efecto positivo de la mayor motivación 
de los padres participantes sobre el estado de aprovechamiento o 
aprendizaje vía móvil, de sus hijos. En otras palabras, (D,) absorbe 
tanto sobre Y, como el efecto que tiene W directamente sobre Y, 
dando lugar a un efecto más grande de lo que en realidad es. 


La gran mayoría de programas que se evalúan en la actualidad, 
están caracterizados por el hecho de que los individuos deben elegir si 
participan o no. Esto implica que las diferencias que surgen entre los 
participantes y no participantes son, en buena parte, no observables. Así, 
el gran reto de la evaluación de impacto, es encontrar metodologías que 
permitan obtener de un estimador consistente e insesgado de B, aun en 


presencia del sesgo de selección (Bernal y Peña, 2011). 


Evaluaciones de impacto ex post 

Se pueden usar varios métodos diferentes en la teoría de la evaluación de 
impacto para abordar la cuestión fundamental del contrafactual faltante. 
Cada uno de estos métodos, conlleva sus propios supuestos sobre la natu- 
raleza del sesgo potencial de selección, en la participación del programa 
objetivo. Los supuestos son cruciales para desarrollar el modelo apropiado 
en determinar los impactos del programa. Existen así, métodos que varían 
según sus supuestos subyacentes con respecto a cómo resolver el sesgo 


73 


EVALUACIÓN DE IMPACTO SOCIAL EN PROYECTOS DE INNOVACIÓN VÍA STATA | TOMO I 


de selección en la estimación del efecto del tratamiento del programa, los 


cuales, en resumen, son: 
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Las evaluaciones aleatorias. Las evaluaciones aleatorias implican 
una iniciativa asignada al azar, a través de una muestra de sujetos 
(por ejemplo: comunidades, empresas o individuos); el progreso 
del tratamiento y control de los sujetos, que exhiban caracterís- 
ticas similares en un preprograma, se rastrean con el tiempo. Los 
experimentos aleatorizados tienen el ventaja de evitar sesgos de 
selección a nivel de aleatorización. 

Los métodos de coincidencia (matching methods), en especial, 
técnica de propensión de coincidencia de puntaje (PSM. Propen- 
sity Score Matching). En ausencia de un experimento, los métodos 
PSM comparan los efectos del tratamiento a través de las unidades 
participantes y las unidades no participantes emparejadas, con la 
coincidencia realizada en un rango de características observadas. 
Por lo tanto, los métodos de PSM suponen que el sesgo de selec- 
ción se basa solo en la observación de características; no pueden 
dar cuenta de factores no observados que afectan la participación. 
Los métodos de doble diferencia (DD. Double-Difference Methods). 
Los métodos DD suponen que la selección no observada está 
presente y que es invariante en el tiempo: el efecto del tratamiento, 
se determina tomando la diferencia en los resultados a través de las 
unidades de tratamiento y control, antes y después de la interven- 
ción del programa. Los métodos DD se pueden utilizar, tanto en 
entornos experimentales como no experimentales. 

El uso de variables instrumentales (IV. Instrumental Variable 
Methods). Los modelos IV, se pueden usar con datos de sección 
transversal o panel y, en este último caso, permitir el sesgo de 
selección en las características no observadas para variar con el 
tiempo. En el enfoque IV, el sesgo de selección en las caracterís- 
ticas no observadas se corrige encontrando una variable (o instru- 
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mento) que se correlaciona con la participación pero no con las 
características no observadas afectando el resultado; este instru- 
mento se utiliza para predecir la participación. 

5. El diseño de regresión discontinuidad (RD. Regression Disconti- 
nuity Design) y los métodos de tubería (PM. Pipeline Methods). 
El RD y los métodos PM son extensiones de los métodos IV y 
experimentales; explotan las reglas del programa exógenos (como 
los requisitos de elegibilidad) para comparar participantes y no 
participantes en un vecindario cercano alrededor del límite de 
elegibilidad. Los métodos PM, en particular, construyen un grupo 
de comparación de sujetos que son elegibles para el programa pero 
aún no lo han recibido. 
Impacto distributivo (DI. Distributional Impacts). 

7. Aproximación estructural y de otro modelaje (Structural and other 


modeling approaches). 


Finalmente, el manual cubre los métodos para examinar los DI, así 
como los enfoques de modelado que pueden resaltar mecanismos (como 
las fuerzas intermedios del mercado) por las cuales los programas tienen 
un impacto. Estos enfoques cubren un mezcla de diferentes métodos 
Cuantitativos discutidos en los siguientes capítulos, así como métodos ex 
ante y métodos ex post. 


Evaluaciones de procesos 


Gertler et al. (2017) consideran que las evaluaciones de procesos, se 
centran en cómo se implementa y funciona un programa, considerando 
si corresponde a su diseño original, y documentando su desarrollo y 
funcionamiento. Normalmente, estas evaluaciones pueden llevarse a cabo 
con relativa rapidez y a un costo razonable. En los proyectos piloto y 
en las etapas iniciales de un programa, pueden ser una valiosa fuente 
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de información sobre cómo mejorar la implementación del programa, y 
se suelen utilizar como primeros pasos para desarrollar un programa de 
modo que los ajustes operativos se puedan hacer antes de que se termine 
su diseño. Pueden probar si un programa funciona como estaba diseñado 
y si es consistente con la teoría del cambio del mismo. Una evaluación 
de procesos debería incluir los siguientes elementos, que a menudo se 
basan en una cadena de resultados o modelo lógico, complementados con 
documentos del programa y entrevistas con informantes clave y grupos 
focales beneficiarios: 


e Objetivos del programa y contexto en el que funciona. 

e Descripción del proceso utilizado para diseñar e implementar el 
programa. 

e Descripción de las operaciones del programa, incluido cualquier 
cambio en las mismas. 

e Datos básicos sobre las operaciones del programa, incluidos indi- 
cadores financieros y de cobertura. 

e Identificación y descripción de eventos que escapan al control del 
programa que pueden haber influido en la implementación y los 
resultados. 

e Documentación, como notas de concepto, manuales operativos, 
actas de las reuniones, informes y memorandos. 


Aplicar una evaluación de impacto a un programa, cuyos procesos 
operativos no han sido validados, plantea el doble riesgo de que se 
malgasten los recursos de dicha evaluación, cuando en realidad podría 
bastar con una evaluación de proceso más sencilla, o bien el riesgo de que 
los ajustes necesarios en el diseño del programa se introduzcan una vez 
que la evaluación de impacto ya ha comenzado, lo cual cambia el carácter 
del programa que se evalúa y la utilidad de la mencionada evaluación. 
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Evaluación de impacto vs. evaluación de proyectos 


Bernal y Peña (2011) afirman que la evaluación de proyectos (el análisis 
de rentabilidad de programas de infraestructura) difiere sustancialmente 
de la evaluación de impacto (el análisis contrafactual de intervenciones 
sociales). La primera está basada en un análisis ex ante detallado de los 
beneficios y los costos esperados de un proyecto. En el caso de la cons- 
trucción de una nueva vía, por ejemplo, es necesario estimar el número 
esperado de usuarios y los beneficios correspondientes: los ahorros de 
tiempo y dinero para un horizonte temporal previamente definido. Los 
beneficios deben compararse con los costos estimados, para así calcular 
la tasa de retorno del proyecto. 

La evaluación de impacto, o ex post, está basada en un análisis 
contrafactual, en la comparación entre los resultados efectivamente 
observados en presencia del programa y los que habrían sido obser- 
vados en su ausencia. Esta comparación permite, bajo algunos supuestos 
adicionales, calcular la tasa de retorno del programa o proyecto evaluado. 
En la evaluación de proyectos, la clave está en el cálculo correcto de los 
beneficios y los costos esperados; en la evaluación de impacto, en la esti- 
mación adecuada del contrafactual, para establecer una relación causal 
entre la política y los impactos generados. Ambos tipos de análisis son 
complementarios y ambos brindan una importante información para la 
toma de decisiones. 

El análisis de proyectos no permite, tener en cuenta /os benefi- 
cios o efectos no esperados. El análisis de impacto, en la mayoría de 
los casos, no permite medir efectos de largo plazo o efectos dinámicos. 
Hoy en día casi la totalidad de los proyectos de infraestructura cuentan 
con un análisis exhaustivo de costo-beneficio. De la misma manera, los 
programas sociales deberían contemplar, desde su mismo diseño, un 
análisis exhaustivo del impacto. El impacto estimado del programa es 


un insumo indispensable para la medición de los beneficios del programa 
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que se re quieren para el análisis costo-beneficio. Este tipo de análisis, 
como se dijo previamente, contribuye a aumentar la calidad del gasto y 
la eficiencia de las iniciativas sociales. Harberger (1972), economista 
estadounidense, fundador de la Escuela de Economía de Chicago, uno de 
los principales promotores de la evaluación en los países en desarrollo, ha 
dicho reiteradamente que: 


“...para manejar la macroeconomía de un pais basta con cinco o 
seis personas, pero que para gastar bien, se necesita un ejército 


de evaluadores de programas y proyectos...” 


Sin embargo, para el caso de las políticas sociales, es difícil realizar 
un análisis costo-beneficio robusto. Con frecuencia, los resultados son 
muy sensibles a la manera como se valoran los beneficios de las interven- 


ciones y a los supuestos que se hacen. 


Análisis de costo-beneficio y costo-efectividad 


Es sumamente importante que la evaluación de impacto pueda comple- 
mentarse con información sobre el costo del proyecto, del programa o de 
la política que se evalúa. Una vez que están disponibles los resultados 
de la evaluación de impacto, estos pueden combinarse con información 
sobre los costos del programa para responder a otras dos preguntas. En 
primer lugar, en la forma básica de una evaluación de impacto, añadir 
información del costo permitirá llevar a cabo un análisis de costo-be- 
neficio, a partir de lo cual se podrá responder a la pregunta: ¿cuáles son 
los beneficios de un programa con un determinado costo? El análisis de 
costo-beneficio estima los beneficios totales esperados de un programa, 
comparado con sus costos totales esperados. Busca cuantificar todos los 
costos y beneficios de un programa en términos monetarios, y evalúa si 


estos últimos superan a los costos (Gertler et al., 2017). 
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En un mundo ideal, el andlisis de costo basado en la evidencia de 
la evaluación de impacto existiría no solo para un programa concreto 
sino también para una serie de programas o alternativas de programas, de 
modo que los responsables de las políticas pudieran valorar qué programa 
O alternativa es más efectivo en función de los costos para lograr un deter- 
minado objetivo. Cuando una evaluación de impacto ensaya alternativas 
de un programa, añadir información sobre costos le permite responder 
a la segunda pregunta: ¿cómo se comparan diversas alternativas de 
implementación en cuanto a su costo-efectividad? Este análisis de 
costo-efectividad compara el costo relativo de dos o más programas o 
alternativas de programas para alcanzar un objetivo común, como la 
producción agrícola o las puntuaciones de los alumnos en las pruebas. 

En un análisis de costo-beneficio o de costo-efectividad, la evalua- 
ción de impacto estima el lado del beneficio o el lado de la efectividad, 
mientras que examinar los costos proporciona la información sobre los 
mismos. Esta obra se centra en la evaluación de impacto y no aborda 
en detalle cómo recopilar datos sobre costos o llevar a cabo análisis de 
costo-beneficio o costo-efectividad. Sin embargo, es fundamental que la 
evaluación de impacto se complemente con información sobre el costo 
del proyecto, del programa o de la política que se evalúa. Una vez que 
se disponga de información sobre el impacto y el costo de diversos 
programas, el análisis de costo-efectividad puede identificar cuáles son 
las inversiones que arrojan la tasa más alta de retorno y permiten a los 
responsables de las políticas tomar decisiones bien fundamentadas sobre 
las intervenciones en las que hay que invertir. 
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Etica y evaluación de impacto 


Cuando se toma la decisión de diseñar una evaluación de impacto, se 
deben considerar algunos asuntos éticos Gertler et al. (2017). Se han 
formulado preguntas a propósito de si la evaluación de impacto es ética 
en sí misma y por sí sola. Un punto de partida de este debate, consiste en 
considerar la ética de invertir recursos públicos en programas cuya efec- 
tividad se desconoce. En este contexto, la falta de evaluación puede en sí 
misma ser no ética. La información sobre la efectividad del programa que 
generan las evaluaciones de impacto puede conducir a una inversión más 
efectiva y ética de los recursos públicos. 

Otras consideraciones éticas tienen que ver con las reglas utilizadas 
para asignar los beneficios del programa, con los métodos con los que se 
estudia a los seres humanos y con la transparencia en la documentación 
de los planes de investigación, datos y resultados. 

El principio ético más básico en una evaluación es que la prestación 
de intervenciones con beneficios conocidos no debería negarse o retra- 
sarse únicamente en función de los objetivos de la evaluación. En esta 
obra, se sostiene que las evaluaciones no deberían dictar cómo se asignan 
los beneficios, sino más bien que deberían ajustarse a reglas de asigna- 
ción del programa que sean equitativas y transparentes. En este contexto, 
cualquier preocupación ética a propósito de las reglas de asignación del 
programa no nace de la evaluación de impacto en sí misma sino direc- 
tamente de las reglas de operación del programa. Planificar las evalua- 
ciones puede ser útil para dilucidar las reglas de operación del programa, 
y contribuir a estudiar si son equitativas y transparentes, sobre la base 
de criterios claros de elegibilidad. La asignación aleatoria de los bene- 
ficios del programa a menudo suscita inquietudes éticas a propósito de 
la negación de dichos beneficios a destinatarios elegibles. Sin embargo, 
la mayoría de los programas funciona en contextos operativos con 


recursos financieros y administrativos limitados, lo cual impide llegar 
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a todos los beneficiarios elegibles de una sola vez. Desde una perspectiva 
ética, todos los sujetos que son igualmente elegibles para participar en 
cualquier tipo de programa social deberian tener la misma oportunidad 
de ser destinatarios del programa. La asignacion aleatoria cumple este 
requisito ético. 

En situaciones en las cuales un programa se aplicara en fases a lo 
largo del tiempo, la implementación se puede basar en seleccionar alea- 
toriamente el orden en que los beneficiarios, todos igualmente meri- 
torios, serán receptores del programa. En estos casos, los destinatarios 
que ingresen más tarde en el programa pueden conformar el grupo de 
comparación para los primeros beneficiarios, generando un sólido diseño 
de evaluación, así como un método transparente e imparcial para asignar 
los escasos recursos. 

La ética de la evaluación de impacto excede a la ética de las reglas 
de asignación del programa. También incluye la ética de la investigación 
en seres humanos, así como la ética de llevar a cabo investigaciones trans- 
parentes, objetivas y reproducibles. En numerosos países e instituciones 
internacionales, se han creado juntas de revisión institucional o comités 
éticos para regular las investigaciones que involucran a seres humanos. 
Estos organismos se encargan de asesorar, aprobar y monitorear los estu- 
dios de investigación, con los objetivos fundamentales de proteger los 
derechos y promover el bienestar de todos los sujetos. Aunque las evalua- 
ciones de impacto son eminentemente empresas operativas, también 
constituyen estudios de investigación y, como tales, deberían adherir a las 
directrices de investigación para seres humanos. 

Conseguir que una evaluación de impacto sea objetiva, transpa- 
rente y reproducible es un componente ético igualmente importante de la 
investigación. 

Para que la investigación sea transparente, los planes de evaluación 
de impacto pueden incluirse en un plan de análisis previo y ser sometidos 
a un registro de estudios. Una vez que la investigación se lleve a cabo, 
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los datos y códigos utilizados en el análisis pueden hacerse públicamente 
disponibles de modo que otras personas puedan replicar el trabajo, a la 
vez que se protege el anonimato. 


Consideraciones finales 


En resumen, se deben tomar varias medidas para garantizar que las 
evaluaciones de impacto sean efectivas y obtener comentarios útiles. 
Durante la identificación y preparación del proyecto, por ejemplo, la 
importancia y los objetivos de la evaluación necesitan ser delineados 
claramente. Las preocupaciones adicionales incluyen la naturaleza y el 
momento de las evaluaciones. Para aislar el efecto del programa sobre 
los resultados, independientemente de otros factores, el investigador debe 
medir el tiempo y estructurar evaluaciones de impacto de antemano para 
ayudar a los funcionarios del programa a evaluar y actualizar la orienta- 
ción, así como otras pautas para la implementación, durante el curso de 
la intervención. La disponibilidad y la calidad de los datos también son 
esenciales para evaluar los efectos del programa; los requisitos de los 
datos, dependerán de si los evaluadores están aplicando un enfoque de 
método cuantitativo o cualitativo, o ambos, y sobre si el marco es ex ante, 
ex post o ambos. 

Si se recopilan nuevos datos, es necesario abordar una serie de consi- 
deraciones adicionales, incluyendo tiempos, diseño y selección de mues- 
tras, así como la selección instrumentos para una encuesta apropiada. 
Además, se deberán realizar encuestas piloto en el campo para que las 
preguntas de la entrevista puedan ser revisadas y refinadas. La recopila- 
ción de datos, sobre aspectos socioeconómicos relevantes, las caracterís- 
ticas tanto a nivel beneficiario como a nivel comunitario también deben 
ayudar a comprender mejor el comportamiento de los encuestados, dentro 
de su entorno económico y social, ambiental. 
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Ravallion (2003), también sugiere una serie de pautas para mejorar 
recopilación de datos en encuestas. Estas pautas, incluyen la compren- 
sión de diferentes facetas y hechos estilizados del programa y del entorno 
económico de los participantes y no participantes para mejorar el diseño 
de muestreo y completar los módulos de encuesta a fin de obtener infor- 
mación adicional (por ejemplo, sobre la naturaleza de la participación 
O la focalización del programa) para comprender y abordar el sesgo de 
selección más adelante. 

La contratación y capacitación de personal de campo, así como la 
implementación de un trabajo consistente al enfoque para gestionar y 
proporcionar acceso a los datos, también es esencial. Durante la imple- 
mentación del proyecto, desde una perspectiva de gestión, el equipo de 
evaluación debe ser formado cuidadosamente para incluir suficiente expe- 
riencia técnica y administrativa para garantizar la precisión del informe 
de datos y resultados, así como transparencia en la implementación para 
que los datos pueden ser interpretados con precisión. La recopilación 
continua de datos, es importante para mantener actualizados a los respon- 
sables de las políticas de implementación de proyectos sobre el progreso 
del programa, así como, por ejemplo, parámetros del programa que deben 
adaptarse a las circunstancias o tendencias cambiantes con el acompa- 
ñamiento de iniciativas. Los datos deben analizarse cuidadosamente 
y presentarse a los responsables de decisión y otras partes interesadas 
importantes en el programa para permitir potencialmente una valiosa 
retroalimentación. Esta entrada, además de los resultados de la evaluación 
en sí misma, puede ayudar a guiar el diseño de políticas futuras también. 
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No todos los programas justifican una evaluacion de impacto. Las evalua- 


ciones de impacto deberian utilizarse selectivamente cuando la pregunta 


que se plantea exige un exhaustivo análisis de la causalidad. Estas evalua- 


ciones pueden ser costosas si uno tiene que recopilar sus propios datos, y 


el presupuesto con el que se cuenta para la evaluación debería utilizarse 


de manera estratégica a partir de realizar ciertos cuestionamientos base, 


tales como: 


a. 


La primera pregunta básica por realizar es: ¿qué está en juego?, 
¿será que la evidencia del éxito del programa, o la modalidad del 
mismo o la innovación en el diseño, fundamentarán decisiones 
clave? Estas decisiones a menudo implican asignaciones presu- 
puestarias y determinan la escala del programa. Si el presupuesto es 
limitado o si los resultados afectarán solo a unas pocas personas, 
es posible que una evaluación de impacto no merezca la pena. 

Si se decide que hay mucho en juego la siguiente pregunta es: 
¿existe evidencia que demuestre que el programa funciona? 
Concretamente, ¿se sabe cuál sería el alcance del impacto del 
programa?, ¿hay evidencia disponible de programas similares en 
circunstancias similares? Si no hay evidencia disponible acerca del 
potencial del tipo de programa proyectado, puede que convenga 
comenzar con una prueba piloto que incorpore una evaluación de 
impacto. En cambio, si hay evidencia disponible de circunstancias 


similares, el costo de una evaluación de impacto probablemente 
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C. 


estaría justificado solo si puede abordar una nueva pregunta deter- 
minante para las políticas de introducción de innovaciones. Este 
sería el caso si el programa incluye innovaciones sustanciales que 
todavía no han sido probadas. Para justificar la movilización de 
recursos técnicos y financieros necesarios para llevar a cabo una 
evaluación de impacto de alta calidad, la intervención que será 

evaluada debe ser (Gertler et al., 2017): 

e Innovadora. Probará un enfoque nuevo y prometedor. 

e Aplicable. Se puede aumentar la escala o se puede aplicar en un 
entorno diferente. 

e  Estratégicamente relevante. La evidencia proporcionada por la 
evaluación de impacto fundamentará una decisión clave ligada 
a la intervención. Esto podría estar relacionado con la amplia- 
ción del programa, reformas o asignaciones presupuestarias. 

e No probada. Se sabe poco acerca de la efectividad del programa 
o de las alternativas de diseño, tanto a nivel global como en un 
contexto específico. 

e  Influyente. Los resultados se utilizarán para fundamentar deci- 
siones de políticas. 

Una pregunta final es la siguiente: ¿se cuenta con los recursos 

necesarios para una buena evaluación de impacto? Estos recursos 

atañen a elementos técnicos, como datos y el tiempo adecuado, 
recursos financieros para llevar a cabo la evaluación y recursos 

institucionales de los equipos que participan, más su interés y 

compromiso para construir y utilizar evidencia causal. Un equipo 

de evaluación es esencialmente una asociación entre dos grupos: 
un equipo de responsables de las políticas de introducción de inno- 
vaciones y un equipo de investigadores. Los equipos tienen que 
trabajar en aras del objetivo común de asegurar que una evaluación 
técnicamente robusta y bien diseñada se implemente de manera 
adecuada y arroje resultados relevantes para cuestiones clave de las 
políticas y del diseño del programa. Una clara comprensión de la 
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premisa y de la promesa de la evaluación de impacto por parte del 
equipo de evaluación contribuirá a asegurar su éxito. 


Si usted decide que tiene sentido encarar una evaluación de 
impacto, en virtud de las preguntas planteadas y la necesidad relacio- 
nada de analizar la causalidad, más los elementos en juego asociados con 
los resultados y la necesidad de evidencia acerca del desempeño de su 
programa, entonces lo tendrá mayores probabilidades de continuar con la 


evaluación de impacto. 


Pasos por considerar 
Gertler (et al., 2017), recomiendan: 


1. Construir una teoría del cambio que describa cómo se supone que 
el proyecto logrará los objetivos previstos; 

2. Elaborar una cadena de resultados que sirva como instrumento 
útil para esbozar la teoría del cambio; 

3. Especificar las preguntas de la evaluación; y 

4. Seleccionar los indicadores para evaluar el desempeño. 


Los cuatro pasos son necesarios y es preferible implementarlos al 
inicio, es decir, cuando comienza a diseñarse el proyecto de evaluación 
del programa o de las reformas. Esto requiere la participación de todas 
las partes interesadas, desde los responsables de las políticas hasta los 
implementadores del proyecto, con el fin de forjar una visión común de 
los objetivos y de cómo serán alcanzados. Esta participación permitirá 
crear un consenso sobre el enfoque de la evaluación y las principales 
preguntas a responder, y reforzará los vínculos entre la evaluación, la 
implementación del programa y el diseño de políticas de introducción de 
innovaciones. Cada uno de los pasos está claramente definido y está arti- 


culado en el modelo lógico incorporado en la cadena de resultados desde 
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la precisión en la determinación de los objetivos y las preguntas hasta 
la definición de las ideas integradas en la teoría del cambio, y los resul- 
tados esperados por la implementación del programa. Estos parámetros 
son esenciales para definir los elementos técnicos de la evaluación, inclu- 
yendo el tamaño de la muestra requerida para la evaluación y los cálculos 
de la potencia. En la mayoría de las evaluaciones de impacto será impor- 
tante incluir una evaluación de costo-beneficio, o costo-efectividad, como 
se indica en el capítulo 1. Los formuladores de política de introducción de 
innovaciones, deberán estar atentos para saber qué programas o reformas 
son efectivos pero también cuál es su costo, es decir, precisar si es viable 


aumentar la escala de un programa y si es posible replicarlo. 


Construcción de una teoría del cambio 

La teoría del cambio es la descripción de cómo se supone que una inter- 
vención conseguirá los resultados deseados Gertler et al. (2017). En ese 
sentido, expone la lógica causal de cómo y por qué un proyecto, una 
modalidad de programa o un diseño de innovación lograrán los resultados 
previstos. Debido al enfoque causal de la investigación: 


e Una teoría del cambio es la base de cualquier evaluación de 
impacto. Su construcción es uno de los primeros requisitos para el 
diseño del proyecto, ya que contribuye a especificar las preguntas 
de la investigación. 

e Las teorías del cambio describen una secuencia de eventos que 
generan resultados: analizan las condiciones y los supuestos nece- 
sarios para que se produzca el cambio, explicitan la lógica causal 
inscrita en el programa y trazan el mapa de las intervenciones del 
programa a lo largo de las vías lógicas causales. 

e Configurar una teoría del cambio en conjunto con las partes inte- 
resadas puede clarificar y mejorar el diseño del programa. Esto es 


especialmente importante en los programas que pretenden influir 
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en las conductas, pues las teorías del cambio pueden ayudar a 
determinar los insumos y actividades de la intervención, qué 
productos se generan y cuáles son los resultados finales derivados 
de los cambios de comportamiento de los beneficiarios. 

e El mejor momento para desarrollar una teoría del cambio es al 
comienzo de la fase de diseño, cuando es posible reunir a las partes 
interesadas con el fin de definir una visión colectiva del programa, 
sus objetivos y la ruta para alcanzar esos objetivos. Así, las partes 
interesadas podrán implementar el programa a partir de un entendi- 
miento común del mismo, de sus objetivos y de su funcionamiento. 

e Por otra parte, es útil que los diseñadores de programas revisen 
la literatura en busca de evidencia que describa experiencias y 
programas similares, y comprueben los contextos y los supuestos 
detrás de las vías causales de la teoría del cambio que configuran. 
Por ejemplo, en el trabajo de Mejía-Trejo y Bravo (2019). Se 
tiene literatura de cómo las innovaciones, son basadas en distintos 
niveles de valores de la empresa que los impulsa y cómo éstas 
mejoran el bienestar a través de los productos y/o servicios que 
fabrica o entrega en consonancia con el propósito de la empresa. 


Desarrollo de una cadena de resultados 
Una cadena de resultados es una manera de describir una teoría del 
cambio. Gertler et al. (2017). Otros enfoques, incluyen: 


e Modelos teóricos, 

e Modelos lógicos, 

e Marcos lógicos, y 

e Modelos de resultados. 


Todos estos modelos integran los elementos básicos de una teoría 
del cambio, a saber: una cadena causal, una especificación de las condi- 
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ciones e influencias externas y la determinación de los supuestos clave. 
Aquí, se utilizará el modelo de cadena de resultados porque es el más 
sencillo y claro para describir la teoría del cambio en el contexto opera- 
tivo de los programas de desarrollo. 

Una cadena de resultados, establece la lógica causal desde el inicio 
del programa, empezando con los recursos disponibles, hasta el final, 
teniendo en cuenta los objetivos de largo plazo. Fija una definición lógica 
y plausible de cómo una secuencia de insumos, actividades y productos 
relacionados directamente con el proyecto interactúa con el comporta- 
miento y define las vías para lograr los impactos. Ver Gráfico 2.1. 


Gráfico 2.1. Elementos de una cadena de resultados 


INSUMOS ACTIVIDADES PRODUCTOS » mans Hp baer pete 


Presupuestos, Serie de Bienes y servicios No totalmente Cambios en 
dotación de actividades producidos bajo el bajo el control los resultados 
personal y otros emprendidas control de la de la agencia producidos por 
recursos para producir agencia ejecutora. ejecutora. múltiples 
disponibles. bienes y factores. 
servicios. 
3 y Resultados (LADO DE LA DEMANDA + 
Implementación (LADO|DE LA OFERTA) J l LADO DELA OFERTA] 


Fuente: Gertler et al. (2017). 


Una cadena de resultados básica esquematizará un mapa con los 
siguientes elementos: 


e Insumos. Los recursos de que dispone el proyecto, que incluyen el 
personal y el presupuesto. 
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e Actividades. Las acciones emprendidas o el trabajo realizado para 
transformar los insumos en productos. 

e Productos. Los bienes y servicios tangibles que producen las acti- 
vidades del programa (controlados de forma directa por la agencia 
ejecutora). 

e Resultados. Los resultados que previsiblemente se lograrán cuando 
la población se beneficie de los productos del proyecto. En general, 
estos resultados se observan entre el corto y el mediano plazo y no 
suelen estar controlados de forma directa por la agencia ejecutora. 

e Resultados finales. Los resultados finales alcanzados señalan si los 
objetivos del proyecto se cumplieron o no. Normalmente, los resul- 
tados finales dependen de múltiples factores y se producen después 
de un período más largo. 


Tanto la implementación como los resultados forman parte de la 
cadena de resultados. La ejecución tiene que ver con el trabajo efec- 
tuado en el proyecto, que incluye insumos, actividades y productos. 
Estos ámbitos, que son responsabilidad directa del proyecto, suelen ser 
monitoreados para verificar si el proyecto está generando los bienes y 
servicios previstos. Los resultados comprenden los resultados y los resul- 
tados finales, que no son controlados de manera directa por el proyecto 
y dependen de cambios en el comportamiento de los beneficiarios del 
programa, es decir, dependen de las interacciones entre la oferta (la 
implementación) y la demanda (los beneficiarios). Por lo general, estos 
ámbitos son objeto de evaluaciones de impacto para medir su efectividad. 
Una buena cadena de resultados contribuirá a hacer aflorar los supuestos 
y riesgos implícitos en la teoría del cambio. Los formuladores de polí- 
ticas de introducción de innovaciones están mejor situados para articular 
la lógica causal y los supuestos en los que descansa, así como los riesgos 
que pueden influir en el logro de los resultados previstos. El equipo, que 
dirige la evaluación deberá explicitar los supuestos y riesgos implícitos en 
consulta con los responsables de las políticas. Una buena cadena de resul- 
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tados, también incluirá evidencia provista por la literatura relacionada 
con los resultados de programas similares. Las cadenas de resultados son 
útiles para todos los proyectos, independientemente de que contemplen o 
no una evaluación de impacto, porque permiten a los responsables de las 
políticas y a los administradores del programa explicitar los objetivos del 
proyecto, lo que contribuye a clarificar la lógica causal y la secuencia de 
eventos que se encuentran detrás de un programa. Además, pueden identi- 
ficar brechas y eslabones débiles en el diseño del programa y, por lo tanto, 
pueden ayudar a mejorar su diseño. Las cadenas de resultados también 
facilitan el monitoreo y la evaluación pues especifican cuál es la informa- 
ción que debe ser monitoreada en cada eslabón de la cadena para realizar 
un seguimiento de la implementación del programa, y definen qué indica- 
dores de resultados hay que incluir cuando se evalúa el proyecto. 


La especificación de las preguntas de la evaluación 

La claridad de la pregunta de la evaluación es el punto de partida de 
cualquier evaluación efectiva (Gertler et al., 2017). La formulación de 
esta pregunta debe centrarse en la investigación, para asegurar que se 
ajusta al interés de las políticas en cuestión. En el caso de una evaluación 
de impacto, es necesario estructurarla como una hipótesis comprobable. 
La evaluación de impacto posteriormente, genera evidencia creíble para 
responder esa pregunta. Como se indicó antes, la pregunta fundamental 


de la evaluación de impacto es: 


¿Cuál es el impacto (o el efecto causal) de un programa en un resultado 
de interés? 

Se pone énfasis en el impacto, es decir, en los cambios directamente atri- 
buibles a un programa, a una modalidad de programa o a una innovación 
de diseño. La pregunta de la evaluación debe orientarse según el interés 
central de las políticas de introducción de innovaciones, en cuestión. 
Como se señaló en el capítulo 1, las evaluaciones de impacto pueden 
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analizar toda una gama de preguntas. En ese sentido, antes de estudiar 
cómo se llevará a cabo el proyecto, el equipo de evaluación debería 
aclarar cuál es la pregunta que se analizará como primer paso, sobre 
la base de la teoría del cambio. Tradicionalmente, las evaluaciones de 
impacto se han centrado en el impacto que tiene un programa plenamente 
implementado, en los resultados finales y en contraste con los resultados 
observados en un grupo de comparación que no ha sido beneficiado por 
el programa. Sin embargo, el uso actual de las evaluaciones de impacto 
se está ampliando. El equipo de evaluación puede inquirir: ¿la pregunta 
de evaluación clave, es la pregunta clásica acerca de la efectividad de 
un programa para cambiar los resultados finales? O ¿se trata de probar 
si una modalidad de programa es más costo-efectiva que otra o bien de 
introducir una innovación en el diseño del programa que, de manera 
previsible, cambiará las conductas, como la matriculación? En la actua- 
lidad la evaluación de impacto está incorporando nuevos enfoques, de 
manera creativa, para abordar las cuestiones de interés para el diseño de 
políticas, en una vasta gama de disciplinas. Tal es el caso del enfoque de 
experimento de mecanismo, que es una evaluación de impacto que prueba 
un mecanismo causal específico dentro de la teoría del cambio (Gertler, 
et al., 2017). 

En una evaluación de impacto, la pregunta de la evaluación debe ser 
formulada como una hipótesis bien definida y comprobable, que pueda 
cuantificar la diferencia entre los resultados obtenidos al contrastar los 
grupos de tratamiento y comparación. La cadena de resultados puede 
usarse como base para formular la hipótesis que se busca probar a partir 
de la evaluación de impacto. Frecuentemente hay unas cuantas hipótesis 
asociadas con el programa, pero no es necesario explorar todas en una 
evaluación de impacto, y tampoco es posible hacerlo. Una pregunta de 
la evaluación deriva de elementos fundamentales de /a teoría del cambio 
y se formula como una hipótesis clara, comprobable y cuantificable, 
siguiendo nuestro ejemplo de Mejía-Trejo et al. (2015) sobre el aprendi- 
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zaje móvil (ML): ¿cuál es el efecto del nuevo programa de aprendizaje 


móvil (ML) en el aprovechamiento de los niños de 6-15 años de edad? 


La selección de indicadores de resultados y desempeño 


Una pregunta clara de la evaluación, debe: 
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Ir acompañada de la especificación acerca de qué medidas de resul- 
tado se utilizarán para evaluar el desempeño, incluso en el caso 
de múltiples resultados. Las medidas de resultado seleccionadas 
se usarán para establecer si un programa o una reforma determi- 
nados tienen éxito o no. También son los indicadores que se pueden 
emplear como referencia al realizar los cálculos de la potencia con 
el fin de fijar los tamaños de la muestra necesarios para la evalua- 
ción. 

Posteriormente, de seleccionar los principales indicadores de 
interés, es preciso definir objetivos claros en lo relativo al éxito del 
programa. Este paso equivale a determinar el efecto anticipado del 
programa sobre los principales indicadores de resultado que se 
han seleccionado. 

Los tamaños del efecto son los cambios previstos como resul- 
tado del programa o de la reforma; por ejemplo, el cambio en las 
puntuaciones de las pruebas o en la tasa de adopción de una nueva 
tecnología. Los tamaños del efecto previstos son la base para llevar 
a cabo cálculos de la potencia. 

Es fundamental que los principales agentes interesados en el equipo 
de evaluación (tanto el equipo de investigación como el equipo de 
políticas de introducción de innovaciones) estén de acuerdo tanto 
en los indicadores primarios de resultados de interés en la evalua- 
ción de impacto, como en los tamaños esperados de los efectos 


previstos como resultado del programa o de la innovación, ya que 
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se usarán para juzgar el éxito del programa y formar la base de los 
cálculos de la potencia. 

e Numerosas evaluaciones de impacto fracasan porque los tamaños 
de muestra no son lo bastante grandes para detectar los cambios 
generados por el programa y se dice que tienen un deficit de 
potencia. 

e En este sentido, es sustancial definir los tamaños mínimos previstos 
del efecto para establecer criterios básicos del éxito del programa 
o de la innovación. 

e Cuando existan datos disponibles, es posible realizar simulaciones 
ex ante para observar diferentes escenarios de resultados con el fin 
de establecer una referencia del tipo de tamaños del efecto que se 
pueden esperar en una gama de indicadores. Las simulaciones ex 
ante también se pueden utilizar para revisar indicadores iniciales 
de costo-beneficio o costo-efectividad y comparar intervenciones 
alternativas para provocar cambios en los resultados de interés. 


Una cadena de resultados articulada con claridad proporciona un 
mapa útil para seleccionar los indicadores que se medirán a lo largo de 
la cadena, a fin de monitorear la implementación del programa y evaluar 
los resultados. Es útil contar con la participación de los equipos de polí- 
ticas de introducción de innovaciones como de los de investigación, para 
seleccionar estos indicadores y asegurar que son medidas pertinentes del 
desempeño del programa. Los indicadores sugeridos como lista EMARF 
por Gertler et al. (2017): 


e Especificos: para medir la información requerida de la forma más 
rigurosa posible. 

e Medibles: para garantizar que la información se puede obtener 
fácilmente. 

e  Atribuibles: para asegurar que cada medida está relacionada con 
los logros del proyecto. 
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e Realistas: para garantizar que los datos se pueden obtener de 
manera oportuna, con una frecuencia y un costo razonables. 
e  Focalizados: en la población objetivo. 


Al elegir los indicadores, es importante identificarlos a lo largo de 
toda la cadena de resultados, y no solo en el nivel de los resultados, de 
modo que puedan seguir la lógica causal de cualquier resultado observado 
del programa. En las evaluaciones de implementación que se centran en 
probar dos o más alternativas de diseño, los resultados de interés pueden 
producirse antes en la cadena de resultados, como un resultado adelan- 
tado o como resultado de una fase temprana. Aun cuando el interés, solo 
esté puesto en las medidas de resultados para la evaluación, es sustan- 
cial realizar un seguimiento de los indicadores de implementación, de tal 


manera que sea capaz de determinar si las intervenciones: 


e Se han llevado a cabo como estaban proyectadas, 
e Si han sido recibidas por los beneficiarios previstos y 
e Si han llegado a tiempo. 


Sino se identifican estos indicadores en toda la cadena de resultados, 
se corre el riesgo de que la evaluación de impacto sea como una caja 
negra que podrá determinar si los resultados previstos se materializaron o 
no, pero no será capaz de explicar por qué. 


Lista de verificación: datos para los indicadores 

Una vez que se han seleccionado los indicadores, Como lista de verifica- 
ción final es útil pensar en las disposiciones para producir los datos con 
el fin de medir los indicadores. Esta lista de verificación (PNUD, 2009) 
considera las disposiciones prácticas para producir todos los indicadores 
de manera fiable y oportuna: 
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¿Se han especificado con claridad los indicadores (productos y 
resultados)? Estos provienen de las preguntas clave de la evaluación 
y deberían ser consistentes con los documentos de diseño del 
programa y con la cadena de resultados. 

¿Los indicadores son EMARF? específicos, medibles, atribuibles, 
realistas y focalizados. 

¿Cuál es la fuente de los datos de cada indicador? Debe ser clara 
la identificación de la fuente de los datos, como una encuesta, un 
estudio o una reunión de las partes interesadas. 

¿Con qué frecuencia se recopilarán los datos? Es preciso incluir un 
calendario. 

¿Quién es el responsable de recopilar los datos? Se debe especificar 
quiénes responsable de organizar la recopilación de datos, verificar 
la calidad y la fuente de los datos y asegurar el cumplimiento de las 
normas éticas. 

¿Quién es responsable del análisis y de los informes? Hay que fijar 
la frecuencia de los análisis, el método de análisis y el responsable 
de los informes. 

¿Qué recursos se necesitan para producir los datos? Es fundamental 
que los recursos requeridos sean claros y que estén destinados 
a producir los datos, que a menudo es la parte más cara de una 
evaluación si se recopilan datos primarios. 

¿La documentación es adecuada? Es útil diseñar planes para 
documentar los datos, incluir la utilización de un registro y asegurar 
el anonimato. 

¿Qué riesgos implica? Al iniciar con el monitoreo planificado y las 
actividades de evaluación es preciso considerar los riesgos y los 
supuestos, así como la manera en que pueden influir en la puntua- 


lidad y la calidad de los datos y de los indicadores. 


97 


EVALUACIÓN DE IMPACTO SOCIAL EN PROYECTOS DE INNOVACIÓN VÍA STATA | TOMO I 


Inferencia causal 


En las evaluaciones de impacto precisas y fiables existen dos conceptos 
esenciales: 


e La inferencia causal y 
e Los contrafactuales. 


Muchas preguntas de politica de introducción de innovaciones, tienen 
que ver con relaciones de causa y efecto: ¿la continuidad de los programas 
de estímulos a la innovación mejora la competitividad de las pymes? 
¿Los programas de transferencias de tecnología, consiguen mejores 
resultados financieros para las pymes involucradas ? ¿Los programas de 
formación profesional en innovación, aumentan los ingresos de quienes 
los han cursado? Las evaluaciones de impacto pretenden responder estas 
preguntas de causa y efecto con precisión. Evaluar el impacto de un 
programa en un conjunto de resultados equivale a evaluar el efecto causal 
del programa en esos resultados (Gertler et al., 2017) 

A pesar de que las preguntas de causa y efecto son habituales, 
contestarlas no es un asunto sencillo. Por ejemplo, en el contexto de un 
programa de formación profesional en innovación, la sola observación de 
que los ingresos de una persona que ha recibido formación en la admi- 
nistración de la innovación, aumentan después de que ha completado ese 
programa no basta para establecer la causalidad. Tal vez los ingresos 
de esa persona se habrían incrementado aunque no hubiera sido objeto 
de la formación, sino de las condiciones cambiantes del mercado laboral 
o como consecuencia de sus esfuerzos, o de muchos otros factores que 
influyen en los ingresos. Las evaluaciones de impacto ayudan a superar 
el problema de atribuir causalidad pues determinan, empíricamente, en 
qué medida un programa concreto, y solo ese programa, contribuye a 
cambiar un resultado. Para establecer causalidad entre un programa y un 
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resultado se emplean métodos de evaluacion de impacto a fin de descartar 


la posibilidad de la intervención de otros factores. Asi: 


Lar 


La respuesta a la pregunta básica de la evaluación de impacto: 


¿Cuál es el impacto o efecto causal de un programa (P) en un 
resultado de interés (Y)? 

Se obtiene mediante la fórmula básica de la evaluación de impacto, 
de la ecuación 1.5: 


>= E(t,|D,= (1) =ELY, (91D,=(D1-E[Y, (0) | D,= (1) 


Según esta fórmula, el impacto causal (t,,,) 


en un resultado (Y) es la diferencia entre el resultado (Y) con el 


de un programa (D) 


programa (es decir, cuando D = 1) y el mismo resultado (Y) sin el 
programa (D = 0). Por ejemplo, si (D) representa un programa de 
formación profesional en innovación y (Y) simboliza los ingresos, 
el impacto causal de un programa de formación profesional (t,,.,) 
es la diferencia entre los ingresos de una persona (Y) después de 
participar en el programa de formación profesional de innovación 
(D = 1) y los ingresos de la misma persona (Y) en el mismo 
momento en el tiempo, si no hubiera participado en el programa 
(D =0). 

Dicho de otro modo, se trata de medir el ingreso en el mismo 
momento en el tiempo para la misma unidad de observación (en 
este caso, una persona) pero en dos realidades diferentes. Si esto 
fuera posible, se observaría cuál sería el ingreso de ese mismo indi- 
viduo en el mismo momento en el tiempo tanto con el programa 
como sin él, de modo que la única explicación posible de cual- 
quier diferencia en los ingresos de esa persona sería el programa. 
Al comparar al mismo individuo consigo, mismo en el mismo 
momento se conseguiría eliminar cualquier factor externo que 
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también pudiera explicar la diferencia de los ingresos. En ese caso, 
sería posible confiar en que la relación entre el programa de forma- 
ción profesional y el cambio en los ingresos es causal. 


La fórmula básica de la evaluación de impacto es válida para cual- 
quier unidad analizada, ya sea una persona, un hogar, una comunidad, una 
empresa, un colegio, un hospital u otra unidad de observación que pueda 
beneficiarse del programa o verse afectada por él. La fórmula también 
es válida para cualquier resultado (Y) relacionado con el programa en 
cuestión. Una vez que se han medido los dos componentes clave de esta 
fórmula: el resultado (Y) con el programa y sin él, es posible responder 
cualquier pregunta acerca del impacto del programa. 


El contrafactual 


Es posible pensar en el impacto t,,, de un programa como la diferencia 
en los resultados (Y) para la misma unidad (persona, hogar, comunidad, 
etc.) cuando ha participado en el programa y cuando no lo ha hecho. Sin 
embargo, es imposible medir al mismo sujeto en dos realidades diferentes 
al mismo tiempo. En cualquier momento del tiempo, un sujeto habrá 
participado en el programa o no lo habrá hecho. No se lo puede observar 
simultáneamente en dos realidades distintas (es decir, con el programa y 
sin él). Esto se denomina problema contrafactual , que genera el cuestio- 
namiento: 


¿Cómo medir lo que habría ocurrido si hubieran prevalecido 

las otras circunstancias? 

Aunque se puede observar y medir el resultado (Y) para un participante 
del programa ( Y | D = 1), no hay datos para establecer cuál habría sido su 
resultado en ausencia del programa ( Y | D = 0). En la fórmula básica de 
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la evaluación de impacto, el término ( Y | D = 0), representa el contrafac- 
tual, lo cual se puede expresar como: 


¿Cuál habría sido el resultado si una persona no hubiera participado 

en el programa? 

Por ejemplo, si la pyme X adopta una tecnología disruptiva y desaparece 
1 año después, el solo hecho de que la pyme X haya desaparecido después 
de adoptará la tecnología disruptiva no permite concluir que dicha tecno- 
logía disruptiva haya sido la causa de su muerte. Quizá la pyme X ya 
estaba muy endeudada cuando adoptó la tecnología disruptiva y fue el 
endeudamiento la que provocó su desaparición en lugar de la tecnología 
disruptiva. Para inferir la causalidad habrá que descartar todos los demás 
factores potenciales capaces de haber influido en el resultado en cues- 
tión. En este sencillo ejemplo, para saber si la adopción de la tecnología 
disruptiva causó la desaparición de la pyme X, un evaluador tendría que 
establecer qué le habría ocurrido a la pyme X si no hubiera adopción de 
la tecnología disruptiva. Como el la pyme X adoptó la tecnología disrup- 
tiva, no es posible observar de forma directa qué habría ocurrido si no lo 
hubiera hecho. Lo que le habría ocurrido si no hubiera adoptado la tecno- 
logía disruptiva es el contrafactual. Para definir el impacto de la adopción 
de la tecnología disruptiva, el principal reto del evaluador consiste en 
determinar qué aspecto tiene el estado contrafactual de la realidad para 
la pyme X. 

Cuando se lleva a cabo una evaluación de impacto, es relativamente 
fácil obtener el primer término de la fórmula básica ( Y | D = 1), el resul- 
tado con un programa, también conocido como el resultado bajo trata- 
miento, ya que basta con medir el resultado de interés para el participante 
del programa. Sin embargo, no es posible observar de forma directa el 
segundo término de la fórmula ( Y | D = 0), para el participante. Es preciso 
obtener esta información estimando el contrafactual. Para entender este 
concepto clave de estimación del contrafactual es útil recurrir a otro caso 
hipotético. La solución del problema contrafactual sería posible si el 
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evaluador pudiera encontrar un clon perfecto de un participante pyme X’ 
en el programa. Por ejemplo, si la pyme X comienza a recibir unidades de 
US$ como ingreso por la adopción de la tecnología disruptiva y lo que se 
busca es medir el impacto de dicha adopción, la existencia del clon pyme 
X’ perfecto de la pyme X, haría la evaluación muy fácil, pues se podría 
comparar el ingreso en unidades de US$ de la pyme X, (por ejemplo, 
6) cuando adopta la tecnología disruptiva, con el ingreso en unidades 
de US$ de la pyme X’, por ejemplo, 4 sin la adopción de la tecnología 
disruptiva. En este caso, el impacto en ingresos, sería de 2 unidades de 
US$, es decir, la diferencia entre de ingresos bajo el tratamiento de adop- 
ción de tecnología disruptiva (6) y los ingresos sin tratamiento de adop- 
ción de tecnología disruptiva (4). En realidad, está claro que es imposible 
hallar clones perfectos, y que incluso entre gemelos genéticamente idén- 
ticos hay diferencias importantes. 


La estimación del contrafactual 

La clave para estimar el contrafactual para los participantes del programa, 
consiste en desplazarse del nivel individual o de la persona al nivel del 
grupo. A pesar de que no existe un clon perfecto de una persona única, es 
posible contar con propiedades estadísticas para generar dos grupos de 
personas que, si su número es lo bastante alto, sean indistinguibles una 
de otra desde el punto de vista estadístico en el nivel del grupo. El grupo 
que participa en el programa se denomina grupo de tratamiento, y su 
resultado es ( Y | D = 1), después de que ha participado en el programa. 
El grupo de comparación estadísticamente idéntico (grupo de control) 
es el grupo que no es objeto del programa y permite estimar el resultado 
contrafactual ( Y | D = 0), es decir, el resultado que se habría obtenido en 
el grupo de tratamiento si no hubiera recibido el programa. Por lo tanto, 
en la práctica, el reto de una evaluación de impacto es definir un grupo de 


tratamiento y un grupo de comparación que sean estadísticamente idén- 
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ticos, en promedio, en ausencia del programa. Silos dos grupos son idén- 
ticos (estadísticamente), con la única excepción de que un grupo participa 
en el programa y el otro no, es posible estar seguros de que cualquier 
diferencia en los resultados tendría que deberse al programa. 

Encontrar esos grupos de comparación es la piedra angular de 
cualquier evaluación de impacto, al margen del tipo de programa que se 
evalúe. En pocas palabras, sin un grupo de comparación que produzca 
una estimación precisa del contrafactual, no se puede establecer el verda- 
dero impacto de un programa. En ese sentido, el principal desafío para 
identificar los impactos es crear un grupo de comparación válido que 
tenga las mismas características que el grupo de tratamiento en ausencia 
del programa. Concretamente, los grupos de tratamiento y de compara- 
ción deben ser iguales en al menos tres aspectos: 


e En primer lugar, las características promedio del grupo de 
tratamiento y del grupo de comparación deben ser idénticas en 
ausencia del programa. Aunque no es necesario que las unidades 
individuales en el grupo de tratamiento tengan clones perfectos en 
el grupo de comparación, en promedio, las características de los 
grupos de tratamiento y de comparación deberían ser las mismas. 
Por ejemplo, la edad promedio de las pymes en el grupo de trata- 
miento debería ser la misma que en el grupo de comparación. 

e En segundo lugar, el tratamiento no tendría que afectar al grupo 
de comparación de forma directa ni indirecta. En el caso del grupo 
semejante a la pyme X y su ingreso económico por la adopción de 
tecnología disruptiva, como grupo de tratamiento no debería trans- 
ferir recursos al grupo de comparación (efecto directo) ni influir 
en los ingresos de los mercados locales (efecto indirecto). Por 
ejemplo, si lo que se busca es aislar el impacto de los ingresos por 
adopción de tecnología disruptiva, al grupo de tratamiento no se le 
deberían ofrecer más clientes o ventas que al grupo de compara- 
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ción; de otra manera, no se podría distinguir si el ingreso adicional 
es consecuencia también, del mayor número de ventas. 

e En tercer lugar, los resultados de las pymes en el grupo de control, 
deberían cambiar de la misma manera que los resultados en el 
grupo de tratamiento, si ambos grupos son objeto del tratamiento 
(o no). En este sentido, los grupos de tratamiento y de comparación 
tendrían que reaccionar al programa de igual modo. Por ejemplo, 
si los ingresos de las pymes de base tecnológica (pbt) del grupo 
de tratamiento aumentaran en 1 unidad de US$ gracias al la adop- 
ción de tecnología disruptiva, los ingresos de las pymes en el grupo 
de comparación también tendrían que subir 1 unidad de US$ si 
hubieran sido objeto de la formación. 


Si se cumplen estas tres condiciones, solamente la existencia del 
programa de interés explicará cualquier diferencia en el resultado ( Y ) 
entre los dos grupos. Esto obedece a que la única diferencia entre los 
grupos de tratamiento y los de comparación es que los miembros del 
grupo de tratamiento recibieron el programa, mientras que los del grupo 
de comparación no lo recibieron. Cuando la diferencia en el resultado se 
puede atribuir totalmente al programa, se ha identificado el impacto causal 
del programa. En el caso de la pyme X, se observó que estimar el impacto 
de ingresos por adopción de tecnología disruptiva exigía la tarea imprac- 
ticable de encontrar el clon perfecto de la pyme X. En vez de analizar el 
impacto en un solo individuo, es más realista evaluar el impacto promedio 
en un grupo de individuos. En este sentido, si se pudiera identificar otro 
grupo de pymes que comparten el mismo promedio de edad, composi- 
ción por industria, sector, actividades principales, etc. con la salvedad de 
que no reciban ingresos adicionales, sería posible estimar el impacto del 
la adopción de tecnología disruptiva, pues este estaría conformado por la 
diferencia entre los ingresos económicos en ambos grupos. Por lo tanto, si 
el grupo de tratamiento tienen un ingreso de 6 unidades de US$, mientras 
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que el grupo de comparación tienen un ingreso de 4 unidades de US$, 
el impacto promedio de la adopción de tecnología disruptiva sería de 2 
unidades de US$. 

Después de definir un grupo de comparacion valido, es importante 
considerar qué ocurriría si la decisión fuera seguir adelante con una 
evaluación sin haber hallado ese grupo. Es evidente que un grupo de 
comparación no válido difiere del grupo de tratamiento de alguna manera 
distinta de la ausencia de tratamiento. Debido a esas otras diferencias, la 
estimación de impacto puede ser no válida o, en términos estadísticos, 
puede ser sesgada; en ese caso la evaluación de impacto no estimará el 
verdadero impacto del programa, sino el efecto del programa mezclado 
con esas otras diferencias existentes entre los grupos. 


Dos estimaciones falsas del contrafactual 

En lo que queda de la segunda parte de este libro se abordarán los diversos 
métodos disponibles para construir grupos de comparación válidos 
que permitirán estimar el contrafactual. Sin embargo, antes resulta útil 
analizar dos métodos de uso habitual, aunque sumamente riesgosos, para 
construir grupos de comparación que a menudo conducen a estimaciones 
inadecuadas (falsas) del contrafactual: 


e Las comparaciones antes-después (también conocidas como 
comparaciones pre-post o reflexivas): cotejan los resultados del 
mismo grupo antes y después de participar en un programa. 

e Las comparaciones de inscritos y no inscritos (o autoseleccio- 
nados): compara los resultados de un grupo que elige participar en 
un programa con otros de un grupo que elige no participar. 
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Contrafactual falso 1: 
Comparación de resultados antes y después 
Una comparación antes-después intenta establecer el impacto de un 
programa a partir de un seguimiento de los cambios en los resultados en 
los participantes del programa a lo largo del tiempo. De acuerdo con la 
fórmula básica de la evaluación de impacto, el resultado para el grupo de 
tratamiento ( Y | D = 1), es, sin duda, el resultado después de participar en 
el programa. Sin embargo, las comparaciones antes-después consideran 
el contrafactual estimado ( Y | D = 0), como el resultado para el grupo 
de tratamiento antes de que comience la intervención. Básicamente, esta 
comparación supone que si el programa no hubiera existido, el resultado 
(Y) para los participantes del programa habría sido igual a su situación 
antes del programa. Lo cierto es que en la mayoría de los programas 
implementados durante meses o años este supuesto no puede sostenerse. 
Suponga el caso hipotético de un programa de adopción de inno- 
vación por mercadotecnia digital (Mejía-Trejo, 2017) para pymes en el 
2019. El programa ofrece micropréstamos a las pymes, lo que les permite 
comprar dominios, diseñar páginas web, blog, chats, canales de video y 
redes sociales para aumentar sus ingresos y ser competitivos. Así: 


e Se estableció como unidad de despliegue del programa de 
mercadotecnia digital, un factor X como KPI pactado sobre un 
producto innovador (compuesto por SEO/SEM/PPC/Engagement/ 
Frecuencia/ monetización) a fin de medir la respuesta del programa. 
El año previo (2018) al inicio del programa, las pymes reportaron 
por la presentación de un producto innovador, un promedio de 
1000X/Día (punto B en el Gráfica 2.1). 

e Un año después del lanzamiento de mejora de innovación por 
mercadotecnia digital, es decir, en 2019, las unidades de despliegue 
de mercadotecnia subieron a 1100X/Día (el punto A en el Gráfica 
2.1). Si se tratara de evaluar el impacto sobre la base de una 


comparación antes-después, se utilizaría el resultado de antes del 
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programa como una estimación del contrafactual. Al aplicar la 
misma fórmula básica de la evaluación de impacto, se llegaría a la 
conclusión de que el programa ha incrementado la producción de 
despliegues en 100X/Día (A-B). 


Gráfica 2.1. Estimaciones antes-después de un programa 


hipotético de innovación por mercadotecnia digital 
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Fuente: Elaboración propia. 


e Ahora bien, el crecimiento económico se sostuvo en el año del 
lanzamiento del programa (2019), sin embargo, en Marzo de 2020 
con la presencia del COVID-19, se produjo una contracción econó- 
mica, por lo que la cantidad de despliegues fue menor que B, y se 
sitúa, por ejemplo, en el nivel D. En ese caso, el verdadero impacto 
del programa sería (A-D), que es mayor que los 100X/hr esti- 
mados a partir de la comparación antes-después. 

+ En cambio, de haber continuado el crecimiento económico entre 
los dos años, el contrafactual de los despliegues podría haberse 
situado en el nivel C. Entonces el verdadero impacto del programa 
habría sido inferior a 100X/hr. 
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e En otras palabras, si los análisis de impacto no pueden dar cuenta 
de eventos como COVID-19 y de todos los demás factores capaces 
de influir en la producción de despliegues a lo largo del tiempo, es 
imposible calcular el verdadero impacto del programa mediante 


una comparación antes-después. 


En el ejemplo anterior de las innovación por mercadotecnia digital, 
fenómenos como el COVID-19 constituyen uno de varios factores 
externos que pueden influir en el resultado de interés del programa (los 
despliegues de mercadotecnia digital) durante su vigencia. De la misma 
manera, muchos resultados que los programas de desarrollo pretenden 
mejorar, como los ingresos, la productividad, la salud o la educación, 
están afectados por un conjunto de factores en el transcurso del tiempo. 
Por ese motivo, el resultado de referencia casi nunca es una buena esti- 


mación del contrafactual y se lo considera un contrafactual falso. 


Contrafactual falso 2: Comparando grupos inscritos 
y no inscritos (autoseleccionados) 
La comparación entre un grupo de individuos que se inscriben voluntaria- 
mente en un programa y un grupo de individuos que elige no participar es 
otro enfoque riesgoso de la evaluación de impacto. Un grupo de compa- 
ración que se autoselecciona para no participar en un programa será 
otro contrafactual falso (Gertler et al., 2017). La selección se produce 
cuando la participación en el programa se basa en las preferencias, deci- 
siones o características no observables de los participantes potenciales. 
A modo de ejemplo se puede pensar, en un programa hipotético de 
orientación profesional gestionar introducción de innovaciones para los 
jóvenes desempleados, por lo que: 


e Dos años después de su lanzamiento, una evaluación intenta 
estimar su impacto en los ingresos a partir de la comparación de los 
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ingresos promedio de un grupo de jóvenes que decidieron inscri- 
birse en el programa con los de un grupo de jóvenes que, a pesar 
de ser elegibles, decidieron no inscribirse. 
Si los resultados demostraran que los jóvenes que eligieron inscri- 
birse en el programa ganan el doble de los que decidieron no 
hacerlo, ¿cómo debería interpretarse este hallazgo? En este caso, 
el contrafactual se estima sobre la base de los ingresos de quienes 
eligieron no inscribirse en el programa. 
Sin embargo, es probable que los dos grupos sean, en esencia, 
diferentes. Aquellos individuos que decidieron participar pueden 
estar muy motivados para mejorar sus vidas y quizá esperen un 
retorno alto de la formación. Mientras que los que decidieron no 
inscribirse tal vez son jóvenes desanimados que no esperan bene- 
ficiarse de este tipo de programas. Es factible que estos dos grupos 
obtengan resultados bastante diferentes en el mercado laboral y 
consigan ingresos diferentes, incluso sin el programa de formación 
profesional. 
Los mismos problemas surgen cuando la admisión en un programa 
se basa en preferencias no observadas de los administradores del 
programa. Por ejemplo, si los administradores del programa basan 
la admisión y la inscripción en una entrevista. 

Es posible que los admitidos en el programa sean aquellos en 

quienes los administradores ven una buena probabilidad de bene- 

ficiarse del programa. 

Tal vez los no admitidos pueden mostrar menos motivación en la 

entrevista, tener calificaciones más bajas o sencillamente carecer 

de destrezas en una entrevista. 

Como se señaló en el caso anterior, es probable que estos dos 

grupos de jóvenes, obtengan ingresos diferentes en el mercado 

laboral incluso sin un programa de formación profesional. 

Por lo tanto, el grupo que no se inscribió no proporciona una 


buena estimación del contrafactual ya que la observación de una 
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diferencia en los ingresos entre los dos grupos no permite deter- 
minar si se debe al programa de formación o a los contrastes 
subyacentes entre los dos grupos en motivación, destrezas y otros 
factores. 

Así, el hecho de que individuos menos motivados o cualificados 
no se hayan inscrito en el programa de formación genera un 
sesgo en la evaluación de impacto del programa. Este sesgo se 
llama sesgo de selección, el cual se produce cuando los motivos 
por los que un individuo participa en un programa están correla- 
cionados con los resultados, incluso en ausencia del programa. 
Asegurarse de que el impacto estimado esté libre de sesgos de 
selección es uno de los principales objetivos de cualquier evalua- 
ción de impacto, y plantea importantes dificultades. 

En este ejemplo, si los jóvenes que se inscribieron en la forma- 
ción profesional, hubiesen tenido ingresos más altos incluso en 
ausencia del programa, el sesgo de selección sería positivo; en 
otras palabras, se sobreestimaría el impacto del programa de 
formación profesional al atribuirle los ingresos más altos que los 


participantes habrían tenido de todas maneras. 


CAPITULO3. 
Aleatorización 


Después de analizar dos estimaciones falsificadas del contrafactual 
que se utilizan habitualmente, aunque con un alto riesgo de sesgo, las 
comparaciones antes-después y las comparaciones inscritos-no inscritos, 
a continuación se presentará un conjunto de métodos que se pueden 
aplicar para estimar con mayor precisión los impactos de un programa. 
Sin embargo, esas estimaciones no siempre son tan fáciles como puede 
parecer a primera vista. La mayoría de los programas se diseña y poste- 
riormente, se implementa en un entorno complejo y cambiante, donde 
diversos factores pueden influir en los resultados tanto de los participantes 
del programa como de aquellos que no participan. Imprevistos como 
sequías, recesiones, pandemias, los terremotos, los cambios de gobierno 
y los vaivenes nacionales e internacionales forman parte del mundo real. 
En una evaluación, se debe asegurar que la estimación del impacto del 
programa siga siendo válida a pesar de esta diversidad de factores. Las 
reglas de un programa para seleccionar a los participantes constituirán el 
parámetro clave para determinar el método de la evaluación de impacto. 
Sin embargo, también se parte de la premisa de que todos los 
programas sociales deben tener reglas de asignación justas y transparentes. 
Una de las reglas más justas y transparentes para asignar recursos escasos 
entre poblaciones que los merecen de igual manera consiste en que todos 
aquellos que sean elegibles tengan la misma oportunidad de participar en 
el programa. Una manera sencilla de conseguirlo es mediante un sorteo al 
azar o aleatorio un método que decide quién participa en un programa en 
un determinado momento y quién no: el método de asignación aleatoria, 
también conocido como ensayo aleatorio controlado (RCT. Randomized 
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Control Trial). Este método no solo proporciona a los administradores 
del programa una regla imparcial y transparente para asignar recursos 
escasos entre poblaciones igualmente merecedoras de ellos, sino que 
también representa el método más sólido para evaluar el impacto de un 
programa. Por eso, la aplicación del mismo para evaluar los impactos de 
los programas ha aumentado de manera considerable en los últimos años 
(Gertler et al., 2017). 

Como se ha visto, encontrar un contrafactual apropiado para el 
tratamiento, es el principal desafío de evaluación de impacto (Bernal y 
Peña, 2011; Gertler et al., 2017; Khandker et al., 2017). El contra- 
factual indica lo que le habría pasado a participantes de un programa si 
no hubieran participado. Sin embargo, la misma persona no puede ser 
observada en dos situaciones distintas: ser tratado y no tratado al mismo 
tiempo. El enigma principal, por lo tanto, es cómo los investigadores 
formulan estados contrafactuales del mundo en la práctica. En algunas 
disciplinas, como la ciencia médica, la evidencia sobre los contrafac- 
tuales se generan a través de ensayos aleatorios, que aseguran que los 
resultados en el grupo de control realmente capturan el contrafactual 
para un grupo de tratamiento. La Figura 3.1 Ilustra el caso de la aleato- 


rización gráficamente. 


Figura 3.1 Experimento ideal con un grupo 
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Fuente: Elaboración propia. 
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Considere una distribución aleatoria de dos grupos de sujetos o 
individuos similares: un grupo recibe tratamiento y el otro grupo no 
recibe tratamiento. Son similares o equivalentes en que ambos grupos, 
dado que se observa que tienen el mismo nivel de ingresos (en este caso, 
Y,). Después de que se lleva a cabo el tratamiento, se descubre que los 
ingresos observados del grupo tratado son Y, mientras que el nivel de 
ingresos del grupo de control es Y . Por lo tanto, el efecto de la interven- 
ción del programa, puede describirse como (Y, - Y,), como se indica en 
la Figura 3.1. Como se discutió en el capítulo 2, se debe tener extremo 
cuidado al seleccionar el grupo de control para garantizar la comparabi- 
lidad. 


Asignación aleatoria como excelente estimación 
del contrafactual 


El grupo de comparación ideal sería lo más similar posible al grupo de 
tratamiento en todos los sentidos, excepto con respecto a su participación 
en el programa que se evalúa (Gertler et al., 2017) Cuando se asignan 
unidades de manera aleatoria a los grupos de tratamiento y de compara- 
ción, ese proceso de asignación aleatoria producirá dos grupos que tienen 
una alta probabilidad de ser estadísticamente idénticos, siempre que el 
número de unidades potenciales a las que se aplica el proceso de asigna- 
ción aleatoria sea suficientemente grande. Concretamente, con un gran 
número de unidades el proceso de asignación aleatoria producirá grupos 
que tienen promedios estadísticamente equivalentes en todas sus carac- 
terísticas. La Figura 3.2 ilustra por qué la asignación aleatoria produce 
un grupo de comparación estadísticamente equivalente al grupo de 
tratamiento. 

Supóngase que la población de unidades elegibles (el conjunto de 
participantes potenciales, o la población de interés para la evaluación) 
consiste en más de 1000 pbt de desarrollo de software altamente inno- 
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vadores. Entonces, se asigna aleatoriamente la mitad al grupo de trata- 
miento y la otra mitad al grupo de comparación en una caja que contiene 
cada uno de sus nombres de los cuales se extraen los primeros 500. Si 
los primeros 500 nombres constituyen el grupo de tratamiento, entonces 
tendríaamos un grupo de tratamiento asignado de forma aleatoria (los 
primeros 500 números extraídos) y un grupo de comparación asignado 
también de manera aleatoria (los 500 nombres que quedaron en la caja). 
Ahora suponga, que el 40% de las 1000 pymes originales tienen CEOS 
de género femenino; dado que los nombres se han asignado al azar, de los 
500 nombres que se sacaron de la caja, alrededor del 40% serán CEOS 
femeninas. Si entre las 1000 pymes, el 20% se dedica a desarrollo de 
software de apps, entonces casi el 20% de ellas en los grupos de trata- 
miento y de comparación también deberían dedicarse al desarrollo de 
software de apps. 


Figura 3.2. Características de los grupos bajo tratamiento 


con asignación aleatoria 


Población de unidades elegibles 


La asignación aleatoria La asignación aleatoria 
conserva las características conserva las características 
Grupo de tratamiento: Grupo de comparación: 
asignado al tratamiento no asignado al tratamiento 


Fuente: Gertler et al. (2017). 


En general, si la población de unidades elegibles es lo suficien- 
temente grande, el mecanismo de asignación aleatoria asegura que 
cualquier característica de la población se transfiera tanto al grupo de 
tratamiento como al grupo de comparación. Del mismo modo que las 
características observables, como el tamaño de la empresa o el giro al 


que se dedica la pyme, se transfieren tanto al grupo de tratamiento como 
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al de comparación, es lógico pensar que las características que son más 
difíciles de observar (variables no observables), como la motivación, el 
estilo de liderazgo, u otros rasgos de competitividad de una pyme, que 
son complejos de medir, también se aplicarán por igual al grupo de trata- 
miento y al de comparación. Así, los grupos de tratamiento y compara- 
ción generados a través de la asignación aleatoria serán similares no solo 
en cuanto a sus características observables sino también en relación con 
las no observables. 

Tener dos grupos similares en todos los aspectos asegura que la esti- 
mación del contrafactual se aproxime al valor verdadero del resultado en 
ausencia de tratamiento, y que una vez que el programa se haya imple- 
mentado, las estimaciones de impacto no sufrirán un sesgo de selección. 
Cuando una evaluación utiliza la asignación aleatoria para generar los 
grupos de tratamiento y de comparación, en teoría, el proceso debería 
producir dos grupos equivalentes, siempre que se cuente con un número 
de unidades lo suficientemente grande. Con los datos de línea de base 
de la muestra de evaluación con la que se cuente, se podrá comprobar 
empíricamente este supuesto y verificar que, de hecho, no hay diferen- 
cias sistemáticas en las características observables entre los grupos de 
tratamiento y de comparación antes del inicio del programa. Posterior- 
mente, si después de lanzar el programa se observan diferencias en los 
resultados entre los grupos de tratamiento y comparación, sabremos que 
esas diferencias se deben únicamente a la incidencia del programa, dado 
que los dos grupos eran idénticos en la línea de base, antes del inicio del 
programa, y que están expuestos a los mismos factores externos a lo largo 
del tiempo. En este sentido, el grupo de comparación contiene todos los 
factores que también pueden explicar el resultado de interés. 

Para estimar el impacto de un programa bajo la asignación alea- 
toria, se debe observar la diferencia entre el resultado bajo tratamiento 
(el resultado medio del grupo de tratamiento asignado de forma aleatoria) 
y nuestra estimación del contrafactual (el resultado medio del grupo de 


comparación asignado de manera aleatoria). Así, podemos confiar en que 
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nuestro impacto estimado constituye el verdadero impacto del programa, 
puesto que se han eliminado todos los factores observados y no obser- 
vados que, de otra manera, podrían explicar la diferencia en los resul- 
tados. 

En el Gráfico 3.3 se presupone que todas las unidades de la pobla- 
ción elegible serán asignadas ya sea al grupo de tratamiento o al grupo de 
comparación. Sin embargo, en algunos casos no es necesario incluir todas 
las unidades en la evaluación. Por ejemplo, si la población de unidades 
elegibles es de 1 millón de pymes de base tecnológica (pbt) y se quiere 
evaluar la efectividad de los bonos en efectivo en la probabilidad de que 
estas pymes adopten una tecnología disruptiva, bastará con seleccionar 
una muestra aleatoria representativa de, por ejemplo, 1000 pymes y asig- 
narlas ya sea al grupo de tratamiento o de comparación. La Figura 3.3. 
ilustra este proceso. 


Figura 3.3. Muestra y asignación aleatorias de tratamiento 


Población de unidades elegibles 


à i Validez 
La selección aleatoria 

5 externa 

conserva las caracteristicas 

Muestra de evaluación 
La asignación aleatoria La asignación aleatoria 
conserva las características conserva las características m 
Validez 
5 È g interna 
Grupo de tratamiento: Grupo de comparación: 


asignado al tratamiento no asignado al tratamiento | 
t Y S J 


Fuente: Gertler et al. (2017). 


Según la misma lógica que se detalló más arriba, la selección de una 
muestra aleatoria de la población de unidades elegibles para formar la 
muestra de evaluación conserva las características de la población de 
las unidades elegibles. Dentro de la muestra, la asignación aleatoria de 
individuos a los grupos de tratamiento y comparación también conserva 
dichas características. 
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Validez externa e interna 


Los pasos de la selección aleatoria del tratamiento, que ya se han deta- 
llado, aseguran tanto la validez interna como externa de las evaluaciones 
de impacto (Gráfico 3.3), siendo (Gertler et al., 2017): 


e Validez interna significa que el impacto estimado del programa es 
el impacto libre de todos los demás factores de confusión poten- 
Ciales (o, en otras palabras, que el grupo de comparación represente 
una estimación precisa del contrafactual de modo que se estime el 
verdadero impacto del programa). Hay que recordar que la asigna- 
ción aleatoria produce un grupo de comparación que es estadística- 
mente equivalente al grupo de tratamiento en la línea de base, antes 
de que empiece el programa. Una vez que el programa comienza, el 
grupo de comparación está expuesto al mismo conjunto de factores 
externos que el grupo de tratamiento a lo largo del tiempo, con la 
única excepción del propio programa. Por lo tanto, si aparece cual- 
quier diferencia en los resultados entre los grupos de tratamiento y 
de comparación, solo puede deberse a la existencia del programa 
en el grupo de tratamiento. La validez interna de una evaluación de 
impacto se asegura a través del proceso de asignación aleatoria del 
tratamiento. 

e Validez externa quiere decir que la muestra de la evaluación repre- 
senta con precisión a la población de unidades elegibles. Los resul- 
tados de la evaluación se pueden entonces generalizar a la pobla- 
ción de unidades elegibles. Se utiliza el muestreo aleatorio para 
asegurar que la muestra de la evaluación refleje adecuadamente la 
población de unidades elegibles, de modo que los impactos iden- 
tificados en la muestra de la evaluación pueden extrapolarse a la 
población. 
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Nótese que se ha realizado un proceso de selección aleatoria con dos 
objetivos diferentes: selección aleatoria de una muestra (para la validez 
externa), y asignación aleatoria del tratamiento como método de evalua- 
ción de impacto (para la validez interna). Una evaluación de impacto 
puede producir estimaciones internamente válidas del impacto mediante 
una asignación aleatoria del tratamiento; sin embargo, si la evaluación se 
lleva a cabo con una muestra no aleatoria de la población, puede que los 
impactos estimados no sean generalizables para el conjunto de unidades 
elegibles. 

Al contrario, si la evaluación utiliza una muestra aleatoria de la pobla- 
ción de unidades elegibles, pero el tratamiento no se asigna de manera 
aleatoria, la muestra sería representativa pero el grupo de comparación 
puede no ser válido, lo cual pone en entredicho la validez interna. En 
algunos contextos, puede que los programas se enfrenten a limitaciones 


que exigen un equilibrio entre validez interna y externa. 


Diseño estadístico aleatorio 


En la práctica, sin embargo, puede ser muy difícil garantizar que un grupo 
de control sea muy similar para proyectar las áreas, para que los efectos 
del tratamiento observados en la muestra, sean generalizables, y que los 
efectos en sí mismos, son función del programa en sí (Khandker et al., 
2017). 

Cuando se asigna de forma aleatoria a los beneficiarios de un 
programa es decir, mediante sorteo, entre una población elegible nume- 
rosa, se puede generar una estimación robusta del contrafactual. La asig- 
nación aleatoria del tratamiento se considera la regla de oro de la evalua- 
ción de impacto. Utiliza un proceso aleatorio, o el azar, para decidir a 
quién se le concederá acceso al programa y a quién no. La asignación 


aleatoria del tratamiento también suele denominarse también: 
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e Ensayo aleatorio controlado, 

e Evaluaciones aleatorias, 

e Evaluaciones experimentales y 

e Experimentos sociales, entre otras denominaciones. 


Estrictamente hablando, un experimento no tiene que identificar 
impactos mediante asignaciones aleatorias, pero los evaluadores suelen 
utilizar el término experimento solo cuando la evaluación recurre a la 
asignación aleatoria (Gertler et al., 2017). 

En la asignación aleatoria, todas las unidades elegibles (por 
ejemplo, una persona, un hogar, una empresa, un hospital, una escuela o 
una comunidad) tienen la misma probabilidad de ser seleccionadas para 
un programa. Nótese que esta probabilidad no necesariamente significa 
una probabilidad del 50% de ganar el sorteo. En la práctica, la mayoría 
de las evaluaciones con asignación aleatoria, darán a cada unidad elegible 
una probabilidad de selección determinada, de manera que el número de 
ganadores (tratamientos) sea igual al total de beneficios disponibles. Por 
ejemplo, si un programa tiene suficientes fondos para servir solo a 1000 
pymes de base tecnológica (pbt), de un ecosistema de 10000 pymes elegi- 
bles, cada pyme tendrá una probabilidad de una entre 10 de ser seleccio- 
nada para el tratamiento. La potencia estadística, se maximizará cuando 
la muestra de evaluación se divida por igual, entre los grupos de trata- 
miento y comparación. En el ejemplo de este caso, para un tamaño total 
de la muestra de 2000 pymes, la potencia estadística se maximizará si se 
seleccionan las 1000 pbt de tratamiento y una submuestra de 1000 pbt 
de comparación, en lugar de tomar una muestra aleatoria simple del 20% 
de las 10000 pbt originales elegibles (lo que produciría una muestra de 
evaluación de alrededor de 200 pbt de tratamiento y 1800 pbt de compa- 
ración). (Gertler, et al., 2017). 

Los estadísticos han propuesto, un enfoque de aleatorización en dos 
etapas que describe estas prioridades (Khandker et al., 2017): 
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e En la primera etapa, se selecciona aleatoriamente una muestra de 
posibles participantes de la población relevante. Esta muestra debe 
ser representativa de la población, dentro de un cierto error de 
muestreo. Esta etapa asegura la validez externa (external validaty) 
del experimento. 

e En la segunda etapa, los individuos en esta muestra son asig- 
nados aleatoriamente al tratamiento y a los grupos de compara- 
ción, asegurando la validez interna (internal validaty) en aquellos 
cambios subsecuentes de los resultados de interés (outcomes) 
medidos, que sean debidos al prograna en lugar de otros factores. 

e Las condiciones para asegurar la validez externa e interna del 
diseño aleatorio, se discuten más adelante. 


La asignación aleatoria, también es una manera justa y transparente 
de asignar los escasos recursos de un programa. Una vez que se ha defi- 
nido una población objetivo (por ejemplo, pymes por debajo de la línea 
de rentabilidad), la asignación aleatoria es una regla de asignación justa 
porque permite que los administradores del programa se aseguren de que 
todas las unidades elegibles tengan la misma probabilidad de participar 
en el programa y de que el programa no sea asignado con criterios arbi- 
trarios o subjetivos, ni por cuestiones de favoritismo u otras prácticas 
injustas. Cuando se produce un exceso de demanda de un programa, 
la asignación aleatoria es una regla que los administradores del mismo 
pueden explicar fácilmente, que todas las partes interesadas pueden 
entender y que se considera justa en numerosas circunstancias. Además, 
cuando el proceso de asignación se lleva a cabo de modo abierto y trans- 
parente, no es fácil manipularlo y, por lo tanto, protege a los administra- 
dores del programa de posibles acusaciones de favoritismo o corrupción. 
Por lo tanto, como mecanismo de asignación, la asignación aleatoria tiene 
sus propios méritos, que van mucho más allá de su utilidad como instru- 
mento de evaluación de impacto. De hecho, diversos programas utilizan 
de manera rutinaria los sorteos como una forma de seleccionar a los parti- 
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cipantes del conjunto de individuos elegibles, sobre todo debido a sus 
ventajas administrativas y de gobernanza (Gertler, et al., 2017). 

La decision de participar en un programa depende de las carac- 
terísticas de los individuos (Bernal y Peña, 2011). En un experimento 
donde se asigna de manera aleatoria a los potenciales beneficiarios a los 
grupos de tratamiento y control, y no se les permite elegir si participan o 
no, se asegura que los individuos de los grupos de tratamiento y control 
tengan características idénticas. Aparte del error de muestreo, los grupos 
de tratamiento y control deben ser idénticos ex ante, es decir, no pueden 
diferir de manera sistemática en variables observables ni de las cuales 
no tenemos información. El efecto causal del programa es entonces la 
diferencia en las medias de las variables de interés entre los grupos de 
tratamiento y control. Los experimentos se usan con frecuencia en otras 
ciencias, por ejemplo, para determinar la efectividad de una nueva medi- 
cina. Los individuos, sin su conocimiento, son asignados aleatoriamente a 
un grupo de tratamiento, que recibe la medicina, y a un grupo de control, 
que recibe un placebo o la mejor medicina disponible en el mercado. La 
comercialización de la droga se aprueba si los resultados del experimento 
sugieren que es efectiva y segura. Los resultados de los experimentos, al 
estar libres de sesgo de selección, son muy deseables para determinar la 
efectividad de las políticas de ntroduccón de innovaciones y programas. 
Además, pueden usarse como punto de referencia para comparar los 
efectos causales de otras intervenciones. Por ejemplo, antes de hacer una 
gran intervención por medio de un programa de introducción de nuevas 
tecnologías a pymes de base tecnológica (pbt), sería deseable estimar 
el impacto mediante la evaluación de un piloto, con el objeto de saber 
si funciona y si es rentable en términos sociales. Si, en cambio, hay un 
programa que lleva funcionando un tiempo y no ha sido objeto de evalua- 
ción, se puede medir el impacto para hacer ajustes a la política de intro- 
ducción de la innovación. Por ejemplo, para decidir si se continúa con el 
programa, se reforma o se acaba completamente. 
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Cuando aplicar la asignación aleatoria 


La asignación aleatoria puede utilizarse como regla de asignación de un 


programa en dos escenarios específicos (Gertler et al., 2017): 


1. Cuando la población elegible es mayor que el número de plazas 
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disponibles del programa. Cuando la demanda de un programa 
supera a la oferta, se puede utilizar un sorteo para seleccionar 
el grupo de tratamiento dentro de la poblaci.n elegible. En este 
contexto, todas las unidades de la población tienen la misma proba- 
bilidad (o una probabilidad conocida superior a 0 e inferior a 1) de 
ser seleccionadas para el programa. El grupo que gana el sorteo 
es el grupo de tratamiento y el resto de la población a la que no se 
ha ofrecido el programa es el grupo de comparación. Siempre que 
exista una limitación que impida ampliar la escala del programa a 
toda la población, se pueden mantener los grupos de comparación 
para medir los impactos del programa a corto, mediano y largo 
plazo. En este contexto, no hay un dilema .tico en mantener inde- 
finidamente un grupo de comparación, ya que un subgrupo de la 
población quedaría necesariamente excluído del programa debido 
a problemas de capacidad. 

Cuando sea necesario ampliar un programa de manera progre- 
siva hasta que cubra a toda la población elegible. Cuando un 
programa se extiende por etapas, establecer de forma aleatoria el 
orden en el que los participantes se benefician del mismo ofrece a 
cada unidad elegible la misma posibilidad de recibir tratamiento 
en la primera fase o en una fase posterior. Siempre que no se haya 
sumado todavía el ui/timo grupo al programa, este sirve como grupo 
de comparación válido a partir del cual se podrá estimar el contra- 
factual para los que ya se han incorporado. Esta configuración 
también puede permitir que la evaluación recoja los efectos de una 
exposición diferencial al tratamiento, es decir, el efecto de recibir 
un programa durante un período más o menos prolongado. 
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Hay variantes del diseño básico del experimento para introducción 
de innovaciones que hacen que su adopción sea más fácil (Bernal y Peña, 
2011). Por un lado, como algunas intervenciones son muy populares, la 
demanda excede los cupos disponibles. Así, se podría pensar en asignar 
los cupos aleatoriamente entre los solicitantes. La asignación aleatoria 
entre tratamiento y control podría hacerse a nivel sujeto (por ejemplo, 
a nivel individuo, CEO, familiade hogares), o a nivel de conglomerado 
(por ejemplo, cluster, comunidad, etc). Cuando no es posible asignar el 
tratamiento de manera aleatoria por razones éticas o prácticas, se puede 
incentivar a un subgrupo de la población objetivo, elegido de manera 
aleatoria a participar en el programa. 


Desventajas de la aleatorización 

Como las técnicas usadas para calcular el impacto del programa, usando 
datos experimentales son sencillas, sus resultados son transparentes para 
los políticos en introduccion de innovaciones, diseñadores de las mismas 
y el público en general. Además, es difícil manipular los resultados de 
la evaluación, ya que el evaluador no puede elegir estratégicamente el 
método de estimación para generar los resultados deseados (Bernal y 
Peña, 2011). A pesar de las ventajas descritas, los experimentos sociales 
no son una solución fácil de todos los problemas evaluativos y sufren 
de diversas limitaciones. Hacer una correcta evaluación controlado es 
costoso monetaria y políticamente. 

Hay además una injusticia fundamental: por pertenecer al grupo de 
control, se está excluyendo a un segmento de la población, igualmente 
vulnerable, de los beneficios de la intervención. Como no se pueden 
negar los beneficios del programa durante largos períodos, eventualmente 
el grupo de control entra a formar parte del grupo de tratamiento. Asi, 
aunque se sabe que los efectos de corto y largo plazo con frecuencia 
difieren sustancialmente (en un experimento de este tipo, de introduc- 
ción de innovaciones de corte social, no se pueden negar los bene- 
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ficios del programa en el largo plazo), entonces no se pueden estudiar 
dichos efectos. También puede haber externalidades o efectos de equi- 
librio general. Las externalidades son los efectos externos (esperados o 
no) generados por el programa, mientras que los efectos de equilibrio 
general son los efectos que puede tener la intervención sobre su entorno. 
Finalmente, por las características de los experimentos de introducción e 
innovaciones de corte social, solamente se puede evaluar el programa tal 
como está diseñado, y no se puede evaluar el impacto de variaciones en el 
programa existente (análisis contrafactual). 

Si tanto el diseño como la implementación de la aleatorización son 
adecuados, los resultados son internamente válidos, es decir, el impacto 
estimado es generado por la intervención. Uno de los objetivos funda- 
mentales de los experimentos de introducción de innovaciones de orien- 
tación social, es la posibilidad de generalizar los efectos estimados del 
programa a un grupo más grande de la población. Sin embargo, diversos 
aspectos pueden amenazar la validez externa del experimento. El experi- 
mento debe ser suficientemente similar al pro grama para poder genera- 
lizar los resultados a la población de interés; tanto la población estudiada 
como el programa implementado deben ser suficientemente similares a la 
población y al programa de interés. 

Los efectos de equilibrio general y externalidades también pueden 
afectar la validez externa. Finalmente, dado que con frecuencia la partici- 
pación en los programas es voluntaria, el efecto de un programa medido 
sobre una población elegida aleatoriamente puede no ser un estimador 
insesgado del efecto del programa real. Para aliviar este problema se 
puede aleatorizar entre los individuos que han manifestado su interés en 
participar, pero normalmente esto es más costoso desde un punto de vista 
político. Tres aspectos fundamentales afectan la posibilidad de genera- 
lizar los resul tados de una evaluación aleatoria en otros contextos: 


e Primero, los experimentos modernos son con frecuencia de pequeña 


escala y manejados con extremo cuidado, por ejemplo, operados 
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por los actores mas experimentados de los programas. Por tanto, se 
teme que este estándar de implementación no se pueda replicar al 
escalar el programa. Para solucionar esto es necesario documentar 
adecuadamente la implementación del experimento para poder 
replicarlo. 

e Segundo, dado que los experimentos sociales se realizan en 
regiones específicas, ¿se puede concluir que, dado que una pobla- 
ción particular respondió de una manera al programa, otra pobla- 
ción reaccionará de una manera similar a un pro grama parecido? 
No necesariamente. Para solucionar esto se puede, o bien realizar 
el mismo experimento en diversas regiones, o bien usar modelos 
comportamentales que determinen el canal mediante el cual se 
genera el efecto, para predecir si es posible replicar el éxito del 
programa. 

e Tercero, una situación similar se da cuando nos preguntamos por el 
efecto de variaciones en el programa. Una posibilidad interesante 
es entonces combinar experimentos sociales con modelos econó- 
micos, bien sea para estimar un mayor número de parámetros, O 
para determinar los canales mediante los cuales se generan los 
efectos. 


Si la aleatorización no es completamente exitosa, el estimador de 
diferencias es sesgado y necesitamos utilizar otras técnicas economé- 
tricas para estimar el efecto del programa. Pero, como se discutió ante- 
riormente, incluso si la aleatorización es exitosa, los resultados de los 
experimentos sociales sufren diversos problemas, tales como potencial 
falta de validez externa, efectos Hawthorne o John Henry, no tienen en 
cuenta efectos de equilibrio general, comúnmente miden efectos de corto 
plazo, entre otros. 
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Cálculo de los efectos del tratamiento 


La aleatorización, puede corregir el sesgo de selección (B), discutido 
en el capítulo 2, por asignación al azar, de individuos o grupos de los 
mismos a grupos de tratamiento y control. Volviendo para la configura- 
ción en el capítulo 2, considere el clásico problema de medir los efectos 
del tratamiento (Imbens y Angrist, 1994): deje que el tratamiento, 
T,= (1) si el sujeto i es tratado y (0) si no. Suponga que Y, (1) sea el resul- 
tado (outcome) bajo tratamiento y Y, (0) si no hay tratamiento. 

Observe que Y, y T,, donde de acuerdo a Heckmany Vytlacil (2000), 
una caracterización de (Y) es identificada bajo diferentes aproximaciones, 
como la conocida como modelo Neyman-Fisher-Cox-Rubin de resultados 
de interés (outcomes) potenciales; también referida como modelo de swit- 
cheo de Quandt (switching regression model of Ouandt, Quandt, 1972) 
y el modelo de distribución de ingreso de Roy (Roy, 1951). Así, se tiene: 


¥=(7,-¥(1)+(1-T)-¥ I 


Estrictamente hablando, el efecto del tratamiento por unidad i es (1) 
Y - (0) y el ATE = E [Y (1) - Y (0)] o la diferencia en los resultados 
(outcomes) de estar en un proyecto en relación con el área de control para 
una persona o unidad i extraída al azar de la población. Esta formulación 
supone, por ejemplo, que todos en la población tienen la misma probabi- 
lidad de ser tomados en cuenta. 

Generalmente, sin embargo, solo E [Y (1) | T, = 1] los resultados 
(outcomes) promedio de los tratados, condicional a estar en un área 
de tratamiento, y E [Y (0) | T,= 0] los resultados (outcomes) promedio 
de los no tratados, condicionados a no estar en un área tratada, son 
observados. Con un enfoque no aleatorio y observaciones solo en una 
submuestra de la población E [ Y (1) ], no es necesariamente igual a 
E [ Y,() | T,= 1], y E [ Y, (0) ] no es necesariamente igual a 
E[Y (0)|T,=01. 
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Por lo general, se observan efectos de tratamiento alternativos en 
forma de TOT = E [ Y (1) - Y,(0) | T, = 1], o la diferencia en los resul- 
tados (outcomes) de recibir el programa en comparación con estar en un 
área de control para una persona o sujeto i al azar extraído de la muestra 
tratada. Es decir, el TOT refleja las ganancias promedio de los partici- 
pantes, condicional a que estos participantes reciban el programa. Supon- 
gamos que el área de interés es el TOT, E [ Y (1) - Y, (0) | T, = 1]. Si T, 
es no aleatorio una simple diferencia entre áreas tratadas y de control 
D=E [Y (1) | T, ] - E [Y (0) | T,= 0], no será igual a TOT. La discrepancia 
entre TOT y D, será E [ Y (0) | T, = 1] - E [Y (0) | T, = 0], el cual es igual 
al sesgo B al estimar el efecto del tratamiento: 


TOT = E [Y (1) - ¥,(0) | T,= 0] = (3.1) 
ElX(D|T,=1)-E[Y(0)|T=11= (2) 

D = E [Y(1) | T,= 1] - E [Y;(0) | T,= 0] Si E [Y(0) | T,= 0] = 
E [YO | T,= 1] (3.3.) 
TOT= D Si B=0 (3.4) 


Aunque en principio el resultado (outcome) contrafactual E [Y, 
(0) | T, = 1] en la ecuación 3.2 no se puede observar directamente para 
comprender el alcance del sesgo, todavía hay algo de intuición al respecto 
que pudiera existir. 

En un esfuerzo por unificar la literatura de los efectos del tratamiento, 
Heckman y Vytlacil (2005), también describen un parámetro llamado 
efecto de tratamiento marginal (MTE. Marginal Treatment Effect), del 
cual el ATE y TOT pueden ser derivados. (Bjórklund y Moffitt, 1987). 
El MTE es el cambio promedio en los resultados (outcomes) Y, para indi- 
viduos que están al margen de participar en el programa, dado un conjunto 
de características observadas X, y condicionamiento en un conjunto de 
características no observadas U, en la ecuación de participación: MTE = 
E [Y (1) - Y(0) | X, = x, U,= u ]. Es decir, el MTE es el efecto promedio 
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del programa para individuos que simplemente son indiferentes entre 


participantes y no participantes. 


Cómo asignar aleatoriamente el tratamiento 
De acuerdo a Gertler et al. (2017), se puede verificar el proceso como se 
observa en la Figura 3.4. 


Figura 3.4. Pasos para la asignación aleatoria del tratamiento 


1. Definir las unidades 2. Seleccionar la muestra 3. Asignar aleatoriamente al 
elegibles de evaluación tratamiento 


Comparación 


Y AA 


Y No elegible X Elegible 


Fuente: Gertler et al. (2017) con adaptación propia. 


Y se enlista a continuación: 


1. Definir las unidades elegibles para el programa. Cabe recordar 
que, dependiendo del programa concreto, una unidad podría ser 
una persona, una pyme, un centro de salud, una empresa, pueblo, 
municipalidad, etc. La población de unidades elegibles está com- 
puesta por aquellos para los cuales interesa conocer el impacto de 
un programa. 
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2. 


a. 
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Comparar el tamano del grupo con el numero de observaciones 
requeridas para la evaluación. El tamaño de la muestra de la 
evaluación se establece mediante cálculos de la potencia y se 
basa en el tipo de preguntas a las que el evaluador desearía que 
se respondiera. Si la población elegible es pequeña, quizás haya 
que incluir todas las unidades elegibles en la evaluación. Por el 
contrario, si hay más unidades elegibles de las que se requiere para 
la evaluación, entonces el segundo paso consiste en seleccionar 
una muestra de unidades a partir de la población que se incluirá en 
la muestra de evaluación. Este segundo paso responde sobre todo 
a la necesidad de limitar los costos de la recopilación de datos. Si 
se observa que los datos de los sistemas de monitoreo existentes 
se pueden usar para la evaluación, y que esos sistemas abarcan al 
conjunto de unidades elegibles, tal vez no sea necesario elaborar 
una muestra distinta de la evaluación. 
Configurar los grupos de tratamiento y de comparación a partir de 
las unidades de la muestra de la evaluación, mediante la asignación 
aleatoria. En los casos en que la asignación aleatoria tenga que 
llevarse a cabo en un foro público, por ejemplo en la televisión, 
es posible que sea necesario utilizar una técnica sencilla, sugirién- 
dose: 
Si se quiere asignar el 50% de los individuos al grupo de trata- 
miento y 50% al grupo de comparación, hay que lanzar la moneda 
para cada persona. Hay que decidir con antelación cuál cara de la 
moneda asignará una persona al grupo de tratamiento. 
Si se quiere asignar una tercera parte de la muestra de la evalua- 
ción al grupo de tratamiento, se puede tirar un dado para cada 
persona. Antes, hay que decidir una regla, por ejemplo, si el dado 
muestra 1 0 2, el individuo será asignado al grupo de tratamiento, 
mientras que si arroja un 3, 4, 5 o 6 el individuo será derivado 
al grupo de comparación. El dado se tiraría una vez para cada 
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persona en la muestra de evaluación, y se la asignaría sobre la 
base del número del dado. 

c. Escribir los nombres de todos los individuos en trozos de papel 
de igual tamaño y forma. Plegar los papeles de modo que no se 
puedan leer los nombres y mezclarlos de manera conveniente 
en una Caja o en algún otro recipiente. Antes de empezar a sacar 
los nombres, debe decidirse la regla, es decir, cuántos trozos de 
papel se extraerán, y que extraer un nombre significa asignar a esa 
persona al grupo de tratamiento. Una vez que la regla esté clara, 
se debe solicitar a alguien del público (una persona imparcial, 
como un niño) que extraiga tantos trozos de papel como partici- 
pantes se requiera en el grupo de tratamiento. 


Si tienen que asignarse muchas unidades (por ejemplo, más de 100), 
utilizar enfoques sencillos como los descritos requerirá demasiado tiempo 
y habrá que utilizar un proceso automatizado. Para ello, primero habrá 
que decidir una regla de modo que se asignen los participantes sobre la 
base de números aleatorios. Para implementar la aleatoriedad, se asig- 
nará un número al azar a cada unidad en la muestra de evaluación, utili- 
zando un generador aleatorio de números en una hoja de cálculo, o en un 
programa estadístico especializado y se utilizará la regla ya definida para 
formar los grupos de tratamiento y comparación. Es importante decidir 
la regla antes de generar los números al azar. De otra manera, puede que 
el evaluador se vea tentado de usar una regla basada en los números alea- 
torios que ve, lo que invalidaría la asignación aleatoria. La lógica en que 
se fundamenta el proceso automatizado no es diferente de la asignación 
aleatoria basada en lanzar una moneda o extraer nombres de un sombrero. 
Se trata de un mecanismo que asigna al azar si cada unidad pertenece al 
grupo de tratamiento o de comparación. Al utilizar un sorteo público, 
dados o números al azar generados por computador, es importante docu- 
mentar el proceso para asegurar que sea transparente, así: 
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+ En primer lugar, eso significa que la regla de asignación debe deci- 
dirse con antelación y comunicarse al público. 

e En segundo lugar, el evaluador debe ceñirse a la regla una vez que 
se extraen los números al azar. 

e Entercer lugar, debe demostrarse que el proceso era realmente alea- 
torio. En el caso de los sorteos y el lanzamiento de dados, se puede 
grabar el proceso en video; la asignación mediante números al azar 
generados por computador requiere que se presente un registro de 
los cómputos, de modo que el proceso pueda ser auditado. 


Efecto del tratamiento con aleatorización pura 
La aleatorización se puede configurar de dos maneras: aleatorización 
pura y aleatorización parcial. Si el tratamiento se realizó de forma pura- 
mente aleatoria siguiendo el procedimiento en dos etapas descrito ante- 
riormente, para despúés, los sujetos tratados y no tratados tendrían el 
mismo resultado (outcome) esperado en ausencia del programa. Entonces 
E [Y (0) | T,= 1] es igual a E [Y,(0) | T,= 0]. Debido a que el tratamiento 
debería ser aleatorio y no una función de características no observadas 
(como la personalidad, el carácter o los gustos del sujeto) entre los indi- 
viduos, los resultados (outcomes) no se espera que haya variaciones para 
los dos grupos, si la intervención no hubiera existido. Por lo tanto, el 
sesgo de selección se convierte en cero en el caso de la aleatorización. 
Considere el caso de la aleatorización pura, donde una muestra de 
individuos o empresas, se extrae al azar de la población de interés. La 
muestra experimental posteriormente, se divide al azar en dos grupos: 


e El grupo de tratamiento que está expuesto a la intervención del 
programa y 

+ El grupo de control que no recibe el programa. En términos de una 
regresión, este ejercicio se puede expresar como: 
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Y=0X + BT +e, (3.5) 


Donde T, es el tratamiento ficticio (dummy) igual a (1) si la unidad 
ise trata aleatoriamente y (0) en caso contrario. Como se dijo, Y, se 
define como: 


Y, = (Y): T,1+[Y,(0)- (1-7)] (3.6) 


Si el tratamiento es aleatorio (entonces T y e son independientes), 
la ecuación 3.5 puede estimarse mediante el uso de mínimos cuadrados 
ordinarios (OLS. Ordinary Least Squares) y el efecto del tratamiento 


estimados p< estima la diferencia en los resultados del grupo tratado y 


OLS 
el grupo control. Si una evaluación aleatorizada está correctamente dise- 
ñada e implementada, entonces podrá ser determinada una estimación de 


la evaluación de impacto de programa sin sesgo, es decir, imparcial. 


Efecto del tratamiento con aleatorización parcial 
Sin embargo, una aleatorización pura es extremadamente rara de realizar. 
Más bien, aleatorización parcial es la que se utiliza, donde las muestras 
de tratamiento y control se eligen al azar, condicional en algunas carac- 
terísticas observables de X (por ejemplo, edad o ingresos). Si el investi- 
gador puede hacer una suposición llamada exogeneidad condicional de la 
colocación del programa (conditional exogeneity of program placement), 
el investigador puede encontrar una estimación sin sesgo de la estimación 
del programa. 

Aquí, se sigue el modelo de Ravaillon (2008). Denotando por simpli- 
cidad Y, (1) Y, como Y," y Y, (0) como Y.S, la ecuación 3.5 podría aplicarse 
a una submuestra de participantes y no participantes como sigue: 


Y =00+X Pepu] ifT =bi=1,..,n mz) 
y =Q" + X BC+ ue if T= 0, i=1,...,7° (3.8) 
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Es una práctica común, estimar lo anterior como una regresión 
única al agrupar los datos para los grupos de control y tratamiento. Se 
puede multiplicar la ecuación 3.7 por T,, multiplique la ecuación 3.8 por 
(1 - T) y usar la identidad en la ecuación 3.6 para obtener: 


Y = 0° +(al" OT, + X B° +X(BT- BIT, + e, (3.9) 


Donde: 
e =T (1; -u ) +u; 


El efecto del tratamiento de la ecuación 3.9 se puede escribir como: 


ATT = E(Y|T, = 1, X) = Ela -af + X(B7-B] 


Que es el efecto justo del tratamiento del grupo tratado, TOT, discu- 
tido anteriormente. Para la ecuación 3.9, se puede obtener una estimación 
consistente del efecto del programa con OLS: 


E(u; |X,T =1)=E(4?|X,T=1)=0, 1=(0,1) 


Es decir, no hay sesgo de selección debido a la aleatorización. En la 
práctica, un modelo de impacto común, es a menudo usado que supone: 


A =p 


El ATE es entonces, simplemente: 
a —ac 
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Diferentes métodos de aleatorización 


Si la aleatorización fuera posible, habría que tomar una decisión sobre 


qué tipo de aleatorización se utilizaría. Estos enfoques, detallados en 


Duflo et al. (2008) se analizan a continuación a continuación: 
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Oversubscription. Si los recursos limitados, repercuten en el pro- 
grama, la implementación puede ser asignados aleatoriamente 
a través de un subconjunto de participantes elegibles, y el resto 
de los sujetos elegibles quienes no reciben el programa, pueden 
considerarse grupo de control. Se debe hacer un examen del presu- 
puesto, evaluando cuántos sujetos podrían ser encuestado vs. aque- 
llos realmente dirigidos, para obtener un control lo suficientemente 
grande de grupo como muestra de beneficiarios potenciales. 
Randomized phase-in. Este enfoque pasa gradualmente por el 
programa a través de un conjunto de áreas elegibles, de modo que 
los grupos de control, representan áreas elegibles que aún esperan 
recibir el programa. Este método ayuda a aliviar los problemas de 
equidad y aumenta la probabilidad que las áreas de programa y 
grupos de control sean similares en características observadas. 
Within-group randomization. En un enfoque de introducción 
gradual aleatorizado, sin embargo, si el retraso entre la génesis del 
programa y la recepción real de los beneficios es grande, una gran 
controversia puede surgir acerca de qué área o áreas deben recibir 
primero el programa. En ese caso, todavía se puede introducir un 
elemento de aleatorización proporcionando el programa, a algunos 
subgrupos en cada área objetivo. Este enfoque, es por lo tanto 
similar a la randomization phased-in en una escala más pequeña. 
Existen problemas de efectos indirectos. 

Encouragement design. En lugar de aleatorizar el tratamiento, los 
investigadores al azar, asignan un anuncio o incentivo a los sujetos 
para participar en el programa. Algunos anuncios del programa se 
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dan por adelantado (ya sea antes de que se implemente el programa 
o durante el tiempo que dura este, conservar recursos) a un subcon- 
junto aleatorio de beneficiarios elegibles. Este aviso puede ser 
utilizado como un instrumento para incorporarse al programa. Los 
efectos indirectos, también se pueden medir en este contexto, si se 
recopilan datos en las redes sociales de los sujetos que reciben el 
aviso, para ver cómo la aceptación puede diferir entre los sujetos 
que están conectados o no. Tal caso, requeriría una recopilación 
más intensiva de datos. 


Intervención individual vs. conglomerados 


Suponga que un programa de estímulos a la innovación fuera a imple- 
mentarse en el país, como un experimento social. Para Bernal y Peña 
(2011) en este caso, considera elegir de uno de dos diseños básicos: 


e  Aleatorización a nivel individual. Se conforma un listado de los 
sujetos elegibles. De la lista de elegibles, se escogen aleatoriamente 
unos sujetos que harán parte del programa (por ejemplo pymes, 
hogares, individuos, etc.) y el resto de los sujetos, no serán benefi- 
ciarios del programa por lo cual constituirán el grupo de control. 

e Anivel de conglomerados (clusters).Se asigna de manera aleatoria 
la participación en el programa, pero no a nivel de sujeto o indi- 
viduo, sino desde barrios o comunidades hasta grupos especiali- 
zados (clústers). Es posible aprovechar las restricciones logísticas 
O presupuestales típicas en los gobiernos, o las restricciones en 
la capacidad operativa del programa para aleatorizar el orden de 
entrada de las diferentes regiones, estados, municipios al programa. 
En una asignación a nivel de conglomerados, se pospone la entrada 
de algunos grupos, de tal manera que actúen como grupo de 


control. La aleatorización por conglomerados es una buena alter- 
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nativa, cuando es dificil negar los beneficios de una intervención a 
una fracción de los miembros de una comunidad, pues pueden ser 
tan pobres y vulnerables como los beneficiarios. La intervención 
a nivel de conglomerados es también preferible en el caso en que 
(parte de) los beneficios se transfieren de los grupos tratados a los 
de control, simplemente porque conviven en la misma comunidad 
por lo que se les llama efectos indirectos o de derrame (spillovers). 
Por ejemplo, una pyme de base tecnológica que recibe el beneficio 
de la capacitación que se pone en contacto indirecto contra que no 
lo recibe pero que lo adopta de buen grado y se pudiera concluir 
erróneamente que la intervención no tuvo efectos sobre la preva- 
lencia de la baja capacitación. 


En muchas intervenciones es posible elegir el nivel al que se hace 
la aleatorización. No existe una clara ventaja de alguno de los diseños 
básicos sobre el otro; a veces será más apropiado hacer la aleatoriza- 
ción a nivel individual y a veces a nivel de conglomerado. La deseabi- 
lidad de uno u otro depende por ejemplo del tipo de preguntas de interés 
en la evaluación, consideraciones políticas, restricciones logísticas, y 
existencia de externalidades, entre otras. La deseabilidad de uno u otro 
depende por ejemplo del tipo de preguntas de interés en la evaluación, 
consideraciones políticas de introducción de innovaciones, restricciones 
logísticas, y existencia de externalidades, entre otras. Si por su naturaleza 
las intervenciones pretenden afectar a una comunidad completa, es claro 
que la aleatorización debe hacerse a este nivel. 

Para un nivel de impactos y de confianza determinados, el tamaño 
de muestra en el caso en que la unidad de observación es el conglome- 
rado debe ser mayor que en el caso en que la unidad de observación es 
el individuo, para poder estimar efectos significativos de la intervención. 
Además, el tamaño de muestra necesario crece a medida que aumenta el 
tamaño de los conglomerados (es decir, a medida que aumenta el número 
de observaciones individuales por conglomerado). Por tanto, el nivel de 
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aleatorizacion puede tener efectos importantes en el presupuesto del 


experimento ya que con frecuencia el levantamiento de informacion es el 


rubro mas importante en los costos de las evaluaciones. 


Problemas con la aleatorización 


Varias inquietudes merecen consideración con un diseño de aleatori- 


zación, que incluye problemas éticos, validez externa, incumplimiento 


parcial o total, desgaste selectivo y efectos indirectos, entre otros, tales 
como (Khandker et al., 2017): 


Retener un tratamiento particular de un grupo aleatorio de sujetos 
y proporcionar acceso, a otro grupo de sujetos de forma, puede ser 
simplemente, poco ético. La realización aleatorizada el diseño, a 
menudo es políticamente inviable, porque es difícil justificar dicho 
diseño para las personas que podrían beneficiarse del programa. 
La validez externa es otra preocupación. Un proyecto de intro- 
ducción de innovación tecnológica a pequeña escala puede no 
afectar las tasas salariales generales, mientras que un proyecto 
a gran escala podría serlo a nivel nacional. Es decir, el impacto 
medido de un proyecto piloto puede no ser una guía precisa del 
impacto del proyecto llevado a escala, en un país. El problema es, 
cómo generalizar y replicar los resultados obtenidos mediante la 
aleatorización evaluaciones. 

El cumplimiento también puede ser un problema con la aleatoriza- 
ción, que surge cuando una fracción de las personas a las que se 
les ofrece el tratamiento, no lo toman. Por el contrario, algunos los 
miembros del grupo de comparación pueden recibir el tratamiento. 
Esta situación es referida como cumplimiento parcial (o imper- 
fecto). Para ser válido y evitar el sesgo de selección, un análisis 
debe centrarse en los grupos creados por la aleatorización inicial. 
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El análisis no puede excluir sujetos o cortar la muestra, de acuerdo 
con el comportamiento que pudo haber sido afectado por la asig- 
nación aleatoria. En términos más generales, el interés a menudo 
radica en el efecto de un tratamiento dado, pero la aleatorización 
afecta solo la probabilidad de que el individuo está expuesto al 
tratamiento, en lugar del tratamiento en sí. 

e Además, los posibles efectos indirectos surgen cuando el grupo de 
tratamiento también ayuda al grupo de control como participantes 
de la muestra, confundiendo así las estimaciones del impacto del 
programa. Por ejemplo, las pymes fuera de la muestra que pueden 
mudarse a una región donde la capacitación de innovación tecnoló- 
gica, se tiene establecido al azar, contaminando así los efectos del 
programa. 


A pesar de las bondades evaluativas que ofrecen los experimentos de 
introducción de innovaciones, considerados como experimentos sociales, 
en la práctica, pueden desviarse del diseño ideal (Bernal y Peña, 2011). 
Problemas en la aleatorización pueden implicar que la inferencia estadís- 
tica acerca de los efectos causales calculados no es válida para la pobla- 
ción bajo estudio. Por ejemplo, los individuos actúan de manera diferente 
al conscientemente participar en un experimento, que si participaran en un 
programa fuera del marco experimental. El participar en un experimento 
puede alterar el comportamiento del grupo de tratamiento (efecto experi- 
mental o Hawthorne) o el del grupo de control (efecto John Henry). Otro 
problema potencial es que, dados los altos costos de los experimentos de 
introducción de innovaciones, es posible que el tamaño de la muestra sea 
pequeño y, por tanto, la medición de los efectos no sea suficientemente 
precisa. Además, si la muestra es pequeña no se garantiza el supuesto de 
independencia, porque la probabilidad de que todas las pymes de base 
tecnológica (pbt), por ejemplo, con ciertas características particulares 
caigan en un grupo particular (tratamiento o control), no es despreciable. 


138 


CAPITULO 3. ALEATORIZACION 


Otros factores, como una mala aleatorizacion, el no cumplir con el 
protocolo de tratamiento y la pérdida de muestra, introducen correla- 
ción entre el diferencias tratamiento, D,, y el término de error u,. Así, el 
estimador de el tratamiento no es asignado de manera completamente 
aleatoria, sino que se basa en parte en las características o preferencias 
de los individuos. Los resultados de las variables objetivo reflejarán tanto 


el impacto del programa como el efecto de la falla en la aleatorización. 


Evaluación de impacto aleatorizada en la práctica 


La aleatorización ha ido creciendo en popularidad en algunas partes del 
mundo, en parte porque si se implementa correctamente, la aleatorización 
es un indicador sólida del impacto del programa (Khandker, et al., 2017). 
Además, una vez que la encuesta ha sido diseñada y los datos recopilados, 
los ejercicios empíricos para inferir los impactos de los experimentos 
aleatorios son bastante sencillos. Por lo general, justificar o iniciar un 
experimento aleatorio es más fácil en el inicio de un programa, durante 
la fase piloto. Esta fase ofrece una oportunidad natural para introducir la 
aleatorización antes de que el programa se amplíe. Presenta una ocasión 
para que los participantes de la implementación, evalúen rigurosamente 
la efectividad del programa. Eso también puede brindar la oportunidad de 
mejorar el diseño del programa. También se puede introducir un elemento 
de aleatorización en programas existentes de muchas maneras diferentes 
con un mínimo de disrupción o ruptura. Mientras que las secciones ante- 
riores de este capítulo han discutido en teoría las preocupaciones con la 
aleatorización, las siguientes secciones discuten varios temas prácticos y 
estudios de caso en la implementación de estudios aleatorizados. 
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El modelo de diferencias 


Lo más relevante de una aleatorización exitosa es el tipo de datos que 
genera, más que las técnicas econométricas utilizadas (Bernal y Peña, 
2011) Esto se debe a que el tratamiento está distribuido de manera inde- 
pendiente de otros determinantes de los impactos. Un buen experimento 
social asegura que las condiciones iniciales, tanto en la variable de resul- 
tado como en otras características, sean idénticas entre los grupos de 
tratamiento y control. Por tanto, la variable de resultado en ausencia del 
programa debería ser idéntica para los tratados D, = (1) y para el grupo 
de control D, = (0), es decir, se cumple el principio de independencia 
condicional: E [u, | D] = 0, y se puede utilizar por tanto el promedio de 
la variable de resultado para el grupo de control: 


E[Y (0) | D,= (0)], como aproximación del contrafactual E [Y (0) | D,= (1)] 


Si D, es binario dadas las características de los datos generados por 
una aleatorización, las técnicas necesarias para establecer el efecto del 
tratamiento son extremadamente sencillas: 


e Se puede medir como la diferencia de medias en la variable de 
interés entre los grupos de tratamiento y control después de la 
intervención. 

e Esta diferencia de medias se puede implementar de manera sencilla, 
con base en el modelo de regresión lineal. 

e Como los datos generados en una aleatorización exitosa no sufren 
de contaminación por sesgo de selección, la asignación aleatoria 
del tratamiento implica que el supuesto de independencia condi- 
cional, E [ u, | D,] = 0, se cumple automáticamente. El modelo que 
permite la comparación, es como se expresó en la ecuación 1.11: 
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Y=8,+B,D,+u,+ (1.11) 


Donde Y, es la variable de resultado, D, es el indicador de trata- 
miento y u, es el error. El estimador de OLS (Ordinary Least 
Squares) en la ecuación (1.11), B,’, se llama estimador de diferen- 
cias, dado que es igual a la diferencia en medias entre los grupos 
de tratamiento y control. Dado que se cumple el supuesto de inde- 
pendencia condicional E [ u, | D,] = 0, el estimador de diferencias 


es insesgado y consistente. Así: 
t= B, =ELY,()|D.=()]-ELY,()|D,=0] 


Donde [Y | D ] es el promedio muestral de cada grupo. A medida 
que el tamaño de la muestra aumenta, esta diferencia converge a: 


t= E [ Y, (1) | D, = (1)] - E [ Y, (0) | D, = (0)] 


Cuando un experimento por introducción de innovaciones de corte 
social se diseña e implementa exitosamente, genera estimaciones inses- 
gadas del efecto del programa para la población objetivo. Es decir, los 
resultados tienen validez interna. Sin embargo, el estimador de diferen- 
cias no necesariamente es eficiente. La eficiencia es un concepto asociado 
a la varianza del estimador. Mayor eficiencia significa menor varianza 0 
dispersión del estimador con respecto a un estimador de la misma clase 
(ejemplo: lineal e insesgado). Esto implica que el efecto del programa 
es estimado con mayor precisión (exactitud). Evidentemente, es una 
propiedad deseada que el estimador del programa sea lo más preciso 
posible. 

Suponga que la participación de pymes de base tecnológica (pbt), 
en un programa de estímulos a la innovación, cuyo objetivo es lograr 
la adopción de una tecnológica disruptiva de manufactura, fue asignado 
el apoyo económico de manera aleatoria. La variable de resultado rele- 
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vante, es la cantidad de productos manufacturados, según la cantidad de 


equipo disruptivo instalado. En particular, se asume que se tiene a dispo- 


sición el puntaje Z de la cantidad de productos manufacturados, según la 


cantidad de equipo disruptivo instalado, es decir, el número de desvia- 


ciones estándar que el pyme de base tecnológica está por encima o por 


debajo de la media de su grupo relevante. La Tabla 3.1 


Tabla 3.1. Caso hipotético de aleatorización 


por el modelo de diferencia 


Nivel de i 
Nivel de ingresos a aa 
de producto Promedio Promedio P 
4 A : en la pyme de 
innovador en la puntaje Z, puntaje Z, Bue 
4 base tecnológica, 
pyme de base tratamiento control z 
Zn tratamiento y 
tecnológica 
control 
Bajo 0.45 0.45 0.20 
Medio 0.70 0.50 0.40 
Alto 0.90 0.70 0.40 


Fuente: Elaboración propia. 


Al mostrar los datos relacionados con la evaluación del programa 


mencionado, se tiene: 


1. La primera columna, presenta el porcentaje de pymes de base 


tecnológica (pbt) con infraestructura instalada para adaptar tecno- 


logía disruptiva de manufactura, es decir, está dentro del programa 


de estímulos a la innovación, o grupo de tratamiento: 


ELY (|D, =()] 


Dado el nivel de ingresos de producto innovador en la pyme de 


base tecnológica (según la fila). 
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2. La segunda columna, contiene los mismos datos de pymes de base 
tecnológica (pbt) con infraestructura instalada para adaptar tecno- 
logía disruptiva de manufactura de un grupo de control elegido de 
manera experimental: 


E [ Y, (0) | D, = (0)1 -E [ Y, (0) | D,=(1)] 


Recuerde que en un experimento aleatorio, el grupo de control es 
exactamente el contrafactual, que en un experimento dado que se 
elige de manera aleatoria. 

3. La tercera columna, presenta la distribución de pymes de base 
tecnológica (pbt) con infraestructura instalada para adaptar tecno- 
logía disruptiva de manufactura de los grupos de tratamiento y 
control, que es idéntica. Por ejemplo, el 20% de las pymes de base 
tecnológica (pbt) (tanto de tratamiento como de control) tienen 
bajo nivel de manufactura del producto innovador con la tecno- 
logía disruptiva de adopción. 

4. Con los datos de la tabla podemos calcular el ATT, es decir, el 
efecto del programa sobre los participantes por el método de 
diferencias, dado que el grupo de control fue elegido de manera 
aleatoria: 


tar E (t|D,= ©) = E [ Y, (1) | D, = (D1 - E [ Y, (0) | D, =(0)] 

E’ [Y (1) | D, = (1)] = (0.45 * 0.2) + (0.70 * 0.4) + (0.90 * 0.4) = 0.73 

E’ [Y (0) | D, = (0)] = (0.45 * 0.2) + (0.50 * 0.4) + (0.70 * 0.4) = 0.57 
t,,, = 0.73 -0.57 = 0.16 


El programa, aumentó el puntaje Z de las pymes de base tecno- 
lógica (pbt) con infraestructura instalada para adaptar tecnología 
disruptiva de manufactura beneficiarias en 0.16 desviaciones 
estándar. La idea detrás de un experimento aleatorio es que al 
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asignar aleatoriamente las familias a los grupos de tratamiento y 
control, se garantiza que: 


E L Y, (0) | D,=(1)]- ELY, (0) | D, = (0)] 


Si la aleatorización fue exitosa, entre los individuos de tratamiento 
y control sólo se deberían observar diferencias en variables de 
resultado; no debería haber diferencias en ninguna de las variables 
que no se ven afectadas por el programa. 


Cuestiones éticas 

La implementación de experimentos aleatorios en los países en desa- 
rrollo, a menudo plantea problemas de cuestiones éticas. Por ejemplo, 
convencer a los funcionarios de gobierno para que retengan un programa 
en particular de un contingente seleccionado al azar, que comparte el 
mismo estado de limitaciones o pobreza así como limitaciones para ganar 
oportunidades, puede ser difícil. 

Un contra-argumento es que la aleatorización es una forma científica 
de determinar el impacto del programa, por lo tanto, en última instancia, 
ayudaría a decidir, entre un conjunto de diferentes programas disponi- 
bles para los formuladores de políticas, de introducción de innovaciones 
de cuáles funcionan realmente y, por lo tanto, merecen inversión. Por lo 
tanto, a largo plazo, la aleatorización tiende a ayudar a un mayor número 
de personas, además de aquellos que fueron inicialmente abordados. 

Además, considerando los recursos limitados, no todas los sujetos 
pueden ser objetivo de un programa, ya sea experimental o no experi- 
mental. En ese caso, la orientación aleatoria, no es poco ética. La conclu- 
sión es que, en la práctica el potencial convincente para llevar a cabo 
diseños aleatorios a menudo es difíciles; por lo tanto, el primer desafío 
es encontrar habilitadores adecuados para llevar a cabo tal diseño. Por 
ejemplo, representantes de gobiernos, organizaciones no gubernamen- 
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tales, y algunas veces las empresas del sector privado pueden ser dichos 
habilitadores potenciales (Khandker, et al., 2017). 


Calidad de la aleatorización 


Los diferentes enfoques en la implementación de estudios aleatorios, 
reflejan la necesidad de adaptar el programa de intervención y encuesta 
adecuadamente dentro de la muestra objetivo (Khandker, et al., 2017). 
Estas preocupaciones, están integradas en un proceso más amplio de dos 


etapas que guía la calidad de la experimentación diseño: 


e En la primera etapa, los responsables de la política de introducción 
de las innovaciones, deben definir claramente no solo la muestra 
aleatoria que será seleccionada para el análisis, sino también la 
población de la cual esa muestra será analizada. Específicamente, el 
experimento tendría validez externa, lo que significa que los resul- 
tados obtenidos podrían generalizarse a otros grupos o entornos 
(por ejemplo, a través de otras intervenciones del programa,). 
Usando la notación discutida anteriormente, este enfoque corres- 
pondería a las condiciones: 


E[Y,(0)|T,=1]=E[Y(0)|T,=0] 


y 
EX (1) | T,= 1] = E [ Y1) | T,= 0] 


e En segundo lugar, se deben tomar medidas al asignar aleatoria- 
mente esta muestra a través de las condiciones de los grupos de 
tratamiento y control, para asegurar que el efecto del tratamiento 
solo sea una función de la intervención y no causado por otros 
factores. Este criterio se conoce como validez interna (internal 


validity) y refleja la capacidad de controlar problemas que afecta- 
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rían la interpretación causal del impacto del grupo de tratamiento. 
El sesgo sistemático (asociado con la selección de grupos que no 
son equivalentes, el desgaste selectivo de la muestra, la contami- 
nación del área objetivo por la muestra del grupo de control y los 
cambios en los instrumentos utilizados para medir el progreso y los 
resultados del curso del experimento), así como el efecto de enfo- 
carse en las elecciones relacionadas y los resultados de los parti- 
cipantes dentro de la muestra objetivo, proporcionan un ejemplo 
de problemas para la interpretación causal. La variación aleatoria 
en otros eventos, que ocurren mientras el experimento está en 
progreso, aunque no representa una amenaza directa a la validez 
interna, también debe ser monitoreado dentro de la recopilación 
de datos, porque una variación aleatoria muy grande puede repre- 
sentar una amenaza para la previsibilidad de medición de datos. 
La siguiente sección analiza algunos enfoques que, junto con una 
metodología aleatorizada, pueden ayudar a explicar estos factores 
potenciales de intervención. 


Aunque seguir el enfoque de dos etapas conducirá a una medida 
consistente de la ATE (Kish, 1987), los investigadores en la implementa- 
ción, casi nunca han considerado este enfoque en la práctica. Más especí- 
ficamente, la única suposición que puede hacerse, dada la aleatorización, 


es que: 
E[Y,(0)|T,=11=E[Y(0)|T,=0] 


Incluso, manteniendo el criterio de validez interna en un entorno 
económico es muy difícil. En el mejor de los casos, por lo tanto, los 
formuladores de políticas de introducción de innovaciones, examinan el 
efecto de las intervenciones del programa de forma aleatoria, que puedan 
estimarse consistentemente con el TOT o el efecto en una subpoblación 
dada: 
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TOT = E [Y, (1) - Y (0) | T, = 1] en oposición a ATE = E [Y (1) - Y(0)] 


Efectos indirectos (spillovers) 


Asegurarse de que los grupos de control y tratamiento, no se mezclen, 
es crucial para medir un impacto sin sesgo o imparcial del programa 
(Khandker, et al., 2017). En el diseño experimental, varios enfoques 
pueden ayudar a reducir la probabilidad de contaminación de los grupos 
de tratamiento. Los grupos de tratamiento y control, que se encuentren 
suficientemente separados, por ejemplo, se pueden seleccionar para que 
la migración a través de las dos áreas, sea poco probable. Como resultado, 
la contaminación de las áreas de tratamiento es más probablemente que 
ocurra, con grupos de tratamiento realizados a mayor escala. 

Sin embargo, a pesar de los esfuerzos por aleatorizar la interven- 
ción del programa ex ante, la participación en el programa puede no ser 


completamente al azar; por lo que: 


e Los sujetos en el grupo de control, pueden moverse a grupos 
de tratamiento, afectando en última instancia, sus resultados 
(outcomes) de la exposición al programa. 

e Del mismo modo, los sujetos seleccionados en los grupos de trata- 
miento, pueden no serlo en última instancia a participar, ya que 
también, pueden verse afectados indirectamente por el programa. 
Si un programa para apuntar al grupo de tratamiento también 
ayuda al grupo de control, confundiría las estimaciones de impacto 
del programa, en algunos casos, los grupos de tratamiento no se 
pueden ampliar sin crear efectos de equilibrio. 

e A menudo, el efecto Hawthorne puede afectar los resultados de una 
aleatorización experimento, donde el simple hecho de ser incluido 
en un experimento puede alterar comportamiento no aleatorio. 


Específicamente, el efecto Hawthorne se relaciona con beneficia- 
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rios que se sienten de manera diferente, porque saben simplemente 
que están bajo un tratamiento. Esta simple sensación, cambiar sus 
elecciones y comportamiento. Factores distintos por lo tanto, al 
funcionamiento real del programa, pueden cambiar los resultados 
de los participantes. 

Específicamente, en casos donde el tratamiento real es distinto de 
la variable que se manipula aleatoriamente, llame a (Z) la variable 
que se asigna aleatoriamente (por ejemplo, la carta invitando a los 
CEOs de empresas de base tecnológica a participar en un programa 
y ofreciéndoles estímulo por asistir), (T) es el tratamiento de interés 
(por ejemplo, participar en el programa). Utilizando la misma nota- 
ción que antes, el investigador sabe, por asignación aleatoria que: 


E [Y,(0) | Z, = (1)] - E [Y(0) | Z, (0)]= (0) 


Es igual a cero y que la diferencia: 


E [Y (1) | Z, = ()] - E [Y(0) | Z, (0) | (0) ] = Efecto causal de Z. 


Sin embargo, no es igual al efecto del tratamiento, (T), porque (Z) 
no es igual a (T). Debido a que (Z) ha sido elegido para influen- 
ciar mínimamente el tratamiento, esta diferencia es, el impacto 
de ITT. Debido también, a que el ITT es en principio aleatorio, 
también puede actuar como una variable instrumental válida para 
identificar el impacto del tratamiento. La estimación de ITT, sería 
el coeficiente estimado en la variable que describe la asignación 
inicial. El impacto, en aquellos cuyo estado de tratamiento es 
cambiado por el instrumento, también se conoce como el efecto 
de tratamiento promedio local (the local average treatment effect) 
(Abadie et al., 2002). 

El desgaste selectivo también es un problema potencial: es el 
que los sujetos abandonen un programa, donde aquellos que no 
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se encuentren debidamente motivados, que muestren vulnerabili- 
dades evidentes, podrian sesgar el efecto del programa. 

Si la medición de la extensión de los efectos indirectos es de interés 
para los responsables políticos en la introducción de innovaciones, 
la aleatorización puede permitir que este fenómeno se mida con 
mayor precisión. La precisión, por supuesto, depende del nivel 
de los efectos indirectos. Si se producen efectos indirectos en la 
economía global, por ejemplo, cualquier metodología, ya sea alea- 
torización o un enfoque no experimental, tendrá dificultades para 
capturar el impacto del programa. Sin embargo, las repercusiones 
locales pueden ser medidas con una metodología aleatoria (Miguel 
y Kremer, 2004). 

Seleccionar el nivel de aleatorización, sobre la base del nivel en el 
cual los efectos indirectos se espera que ocurran (es decir, ya sea 
sobre individuos, comunidades o unidades más grandes), es por 
lo tanto, crucial para comprender el impacto del programa. Una 
cantidad sustancial de factores de medición de datos que pueden 
conducir a contaminación y efectos secundarios (por ejemplo, 
desde falta de motivación, interés hasta migración, cambio de 
paridad, etc.) también necesitaría ser examinado durante el curso 
de la evaluación, para ser capaz de estimar el impacto del programa 


con precisión. 


Heterogeneidad en los impactos por aleatorización 


El nivel al que se produce la intervención aleatoria (por ejemplo, el 


nacional, regional o comunitario), por lo tanto, afecta de múltiples 


maneras a los efectos del tratamiento que van a ser estimados. La aleato- 


rización a nivel agregado (digamos, regional) no puede necesariamente, 


tener en cuenta la heterogeneidad individual en la participación y los 


resultados (outcomes) del programa. 
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Una implicación de este problema, es que el programa final o el 
impacto del tratamiento, en el nivel individual no necesariamente se 
puede medir con precisión como una variable binaria (es decir, T = 1 
para un participante individual y Y = 0 para un individuo en un área de 
control). Aunque cierto programa puede ser aleatorizado a un nivel más 
amplio, la selección individual todavía puede existir en la respuesta al 
tratamiento. Se puede usar una mezcla de métodos, incluyendo varia- 
bles instrumentales, para tener en cuenta la selección no observada en el 
individuo nivel. Las interacciones entre los criterios de focalización y el 
indicador de tratamiento también pueden ser introducidos en la regresión. 
Por ejemplo, los efectos del tratamiento por cuartil también se pueden 
estimar para medir los impactos distributivos de programas aleatorizados 
sobre resultados como el consumo y gasto per cápita (Abadie, et al., 
2002). 

Una desviación relacionada de la aleatorización perfecta, es cuando 
la aleatorización es una función de algún conjunto de observables (clima, 
densidad de población y similares) que afectan la probabilidades de que 
ciertas áreas sean seleccionadas. Por lo tanto, el estado del tratamiento 
es aleatorio. condicionado a un conjunto de caracteristicas observadas. 
Dentro de cada área tratada, sin embargo, el tratamiento es aleatorio 
entre sujetos, individuos o comunidades. Por lo tanto, se pueden hacer 
observaciones al tratamiento y comparación, dentro de cada área, y se 
puede hacer un promedio ponderado tomado en todas las áreas, para dar 
el efecto promedio del programa, en las muestras tratadas. 
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Valor de un estudio de referencia 


La realización de encuestas de referencia en un entorno aleatorio conlleva 
varias ventajas: 


e Primero, las encuestas de referencia, permiten examinar las inte- 
racciones entre las condiciones iniciales y el impacto del programa. 
En muchos casos, esta comparación será de considerable impor- 
tancia para evaluar la validez externa. 

e Los datos de referencia también son útiles, al realizar experi- 
mentos de política de introducción de innovaciones, porque las 
áreas tratadas podrían haber tenido acceso a programas similares 
o iniciativas antes de la implementación de la nueva iniciativa. 
Comparar la captación de los de actividades de los participantes, 
como la introducciónde procesos innovadores, de innovación por 
modelo de negocios, acceso a créditos, etc. antes y después de la 
intervención aleatoria, también pueden ser útil para evaluar las 
respuestas al experimento. 

e Otros valores de un estudio de referencia, incluyen la oportunidad 
de verificar que la aleatorización se realizó de manera adecuada. 
Los gobiernos que participan en esquemas aleatorizados pueden 
percibir la necesidad, por ejemplo, de compensar las áreas de 
control, por no recibir el programa mediante la introducción de 
otros esquemas, al mismo tiempo. 

e Datos recopilados provenientes de las intervenciones del programa 
en áreas de control antes y durante el curso de la encuesta, ayudarán 
en la contabilidad de estas fuentes adicionales de efectos indirectos. 

e La recopilacién de los datos de referencia, también ofrece la opor- 
tunidad de probar y refinar los procedimientos correspondientes. 
Sin embargo, las encuestas de referencia pueden ser costosas y 
deben realizarse con cuidado. 
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e El problema con la realización de una referencia o línea de base, 
es que puede conducir a sesgos en los impactos del programa al 
alterar el contrafactual. 

e La decisión de realizar una encuesta de referencia, se reduce para 
comparar el costo de la intervención, el costo de la recopilación de 
datos y el impacto de las variables en una encuesta de referencia y 


se reflejan necesariamente en el resultado (outcomes). 


Dificultades en la aleatorización 


Debido a que minimizan el sesgo de selección en los impactos del 
programa, las evaluaciones aleatorias pueden ser muy atractivas en los 
países en desarrollo (Khandker et al., 2017). Desafortunadamente, los 
factores contextuales en tales configuraciones, están plagadas de situa- 
ciones que pueden conjuntar otros factores la implementación aleatoria 
y de ahí la calidad de los efectos del programa. La recopilación de datos 
detallada, sobre estos factores de conjunción y el uso de una combinación 
de métodos, además de examinar los ATE, por lo tanto, pueden ayudar 
a explicar la heterogeneidad individual resultante en el tratamiento 
impactos. 

Incluso en el contexto de los países industrializados, Moffitt (2003), 
defiende un enfoque integral que compara estudios y programas, experi- 
mentales y no experimentales, sobre políticas de introducción de inno- 
vaciones. Tales comparaciones, pueden revelar posibles mecanismos 
que afectan la participación, los resultados (outcomes) y otros comporta- 
mientos de los participantes, lo que ayuda a los evaluadores a comprender 
las posibles implicaciones de dichos programas, cuando se aplican a dife- 
rentes contextos: 
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En los estudios no experimentales a discutir, se intenta dar cuenta 
del problema de sesgo de seleccion de diferentes maneras. Basica- 
mente, los estudios no experimentales, intentan replicar un experi- 
mento natural o aleatorización, tanto como sea posible. 

A diferencia de la aleatorización, donde el sesgo de selección se 
puede corregir directamente (aunque también existen problemas en 
esta área), en las evaluaciones no experimentales, es necesario un 
enfoque diferente, que generalmente implica suposiciones sobre la 
forma del sesgo. 

Un enfoque, es hacer el caso para asumir la falta de fundamento, 
o de condicional de exogeneidad de la colocación del programa 
(conditional exogeneity of program placement), que es una versión 
más débil de la falta de fundamento. Los métodos de coincidencia 
(matching methods), como el PSM (Propensity Score Matching) 
o técnica de propensión de coincidencia de puntaje y los métodos 
DD de doble diferencia (Double-Difference Methods), caen bajo 
esta categoría. 

El enfoque de la variable instrumental YV (Instrumental Variable 
Methods) no necesita hacer esta suposición. Intenta encontrar 
instrumentos que estén correlacionados con la participación en 
la decisión, pero no correlacionada con la variable de resultado 
condicional a la participación. 

Finalmente, otros métodos, como el diseño de regresión discon- 
tinua (RD. Regression Discontinuity Design), explotan las caracte- 
rísticas del diseño del programa, para evaluar el impacto. 
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Nivel al que se lleva a cabo una asignación aleatoria 


La asignación aleatoria puede llevarse a cabo en diversos niveles: indivi- 
dual, hogares, empresas, comunidades o regiones. En general, el nivel en 
el que se asignan aleatoriamente las unidades a los grupos de tratamiento 
y de comparación dependerá en gran medida de dónde y cómo se imple- 
mente el programa. Por ejemplo, si se aplica un programa sanitario a nivel 
de las clínicas de salud, primero se elegirá una muestra aleatoria de dichas 
clínicas y después se asignará algunas de ellas al grupo de tratamiento y 
otras al grupo de comparación. 

Cuando el nivel de asignación aleatoria es superior o más agregado, 
como el nivel regional o provincial, puede resultar difícil realizar una 
evaluación de impacto, porque el número de regiones o provincias en la 
mayoría de los países no es suficientemente grande para obtener grupos 
equilibrados de tratamiento y de comparación. Si un país tiene única- 
mente seis provincias, solo podrá haber tres de ellas en el grupo de trata- 
miento y tres en el grupo de comparación, lo cual es insuficiente para 
asegurar que las características de referencia de los grupos de tratamiento 
y comparación estén equilibradas. Además, para que la asignación alea- 
toria genere estimaciones de impacto no sesgadas, es importante garan- 
tizar que los factores externos dependientes del tiempo (como el clima o 
los ciclos de las elecciones locales) sean en promedio los mismos en los 
grupos de comparación y de tratamiento. A medida que el nivel de asigna- 
ción aumenta, se vuelve cada vez más improbable que estos factores estén 
equilibrados entre ambos grupos (Gertler et al., 2017). 

Asimismo, a medida que el nivel de la asignación aleatoria dismi- 
nuye, por ejemplo, a nivel del sujeto, aumentan las probabilidades de 
que el grupo de comparación se vea afectado de forma involuntaria por 
el programa. Hay dos tipos particulares de riesgos que se deben tener en 
Cuenta cuando se escoge el nivel de asignación, a saber: 
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e Los efectos indirectos llamados también, de derrame (spillover) se 
produce cuando el grupo de tratamiento influye de forma directa o 
indirecta en los resultados del grupo de comparación (o viceversa). 
y 

e El cumplimiento imperfecto. Por su parte, el cumplimiento imper- 
fecto tiene lugar cuando algunos miembros del grupo de compara- 
ción participan en el programa o algunos miembros del grupo de 
tratamiento no lo hacen. 


Tener en cuenta el nivel de asignación aleatoria de manera rigurosa 
puede minimizar el riesgo de derrame y de cumplimiento imperfecto. Los 
sujetos pueden asignarse a grupos, para minimizar los flujos de informa- 
ción y los contactos entre los grupos de tratamiento y comparación. Para 
reducir la contaminación, el nivel de asignación también debería esco- 
gerse según la capacidad del programa para mantener una clara diferencia 
entre grupos de tratamiento y comparación a lo largo de la intervención. 
Si el programa comprende actividades entre los grupos (como de tipo 
comunitario), puede que sea difícil evitar exponer a todos los individuos 
de esa comunidad al programa. 

Un ejemplo de efecto de derrame es la administración de recursos 
técnicos (capacitación) y financiero a pymes de base tecnológica (pbt). 
Si en el grupo de tratamiento hay pymes situados cerca de una pyme 
del grupo de comparación, las pymes pueden verse afectadas positiva- 
mente por un efecto de derrame del grupo de tratamiento, porque se 
reducirán sus probabilidades de contraer los recursos técnicos (capacita- 
ción) y financieros de sus vecinos (Miguel y Kremer, 2004). Para aislar 
el impacto del programa, los pymes de base tecnológica (pbt) de trata- 
miento y comparación deben estar situados suficientemente lejos unos 
de otros de modo de evitar ese tipo de derrames. Sin embargo, a medida 
que la distancia entre las pymes aumente, se volverá más oneroso imple- 
mentar el programa y, a la vez, administrar las encuestas. Como regla 
general, si se pueden descartar los efectos de derrame de forma razonable, 
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es preferible llevar a cabo una asignación aleatoria del tratamiento en el 
nivel más bajo posible de implementación del programa, lo cual garanti- 
zara que el número de unidades de los grupos de tratamiento y compara- 
ción sea el mayor posible. 

Una vez que se haya seleccionado una muestra de evaluación alea- 
toria y asignado el tratamiento de manera aleatoria, es bastante sencillo 
estimar el impacto del programa. Después de que el programa ha funcio- 
nado durante un tiempo, tendrán que medirse los resultados de las 
unidades de tratamiento y de comparación. El impacto del programa es 
sencillamente la diferencia entre el resultado promedio (Y) para el grupo 
de tratamiento y el resultado promedio (Y) para el grupo de comparación. 
Ver Figura 3.5. 


Figura 3.5. Estimación del impacto con la asignación aleatoria 


Tratamiento Comparación Impacto 


Media (Y) para el grupo | Media (Y) para el grupo a 
de tratamiento= 100 de tratamiento= 80 | Impacto="Y=20 | | Impacto="Y=20 | 20 


Se inscribe 
si y solo si 
está XXX XXX 
i d 
bec XXX XXX 
tratamiento 


Fuente: Gertler et al. (2017) con adaptación propia. 


Lista de verificación: la asignación aleatoria 


La asignación aleatoria es el método más robusto para estimar los contra- 
factuales; se considera el sello de oro de la evaluación de impacto. Para 
estimar la validez de esta estrategia de evaluación en un determinado 
contexto, deben contemplarse algunas pruebas básicas (Gertler et al., 
2017): 


e ¿Están equilibradas las características de referencia o linea de 
base? Deben compararse las características de línea de base del 
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grupo de tratamiento y del grupo de comparación. Como se ha 
mencionado, por motivos estadísticos no todas las características 
observables deben ser similares en los grupos de tratamiento y de 
comparación para que la aleatorización sea exitosa. Incluso cuando 
las características de los dos grupos son verdaderamente idénticas, 
se puede esperar que el 5% de las mismas aparecerán con una dife- 
rencia estadísticamente significativa, cuando se utiliza un intervalo 
de confianza de 95% para la prueba. Las variables, en cuyo caso se 
presenta una diferencia grande entre los grupos de tratamiento y de 
comparación, son especialmente preocupantes. 

e ¿Se ha producido algún incumplimiento con la asignación? Se debe 
verificar, si todas las unidades elegibles han recibido tratamiento y 
que no haya unidades no elegibles que hayan recibido tratamiento. 
Si ha habido incumplimiento, tendrá que utilizarse el método de 
variable instrumental. 

e ¿Son suficientemente numerosas las unidades en los grupos de 
tratamiento y comparación? Si no, sería necesario combinar la 
asignación aleatoria con diferencias en diferencias. 

e ¿Hay algún motivo para creer que los resultados en algunas unidades 
de alguna manera dependen de la asignación de otras unidades? 
¿Podría haber un impacto del tratamiento en las unidades del grupo 
de comparación? 


Por lo anterior, se analizará un ejemplo detallado del empleo de esta 


técnica, por lo que antes de iniciar Antes de iniciar, se recomienda la 
lectura previa del anexo: Introducción a STATA. 
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Ejemplo utilizando STATA 


La aleatorización, funciona en el escenario ideal donde se asignan indivi- 
duos o en nuestro caso, pymes de base tecnológica (pbt) con tratamiento, 
al azar, eliminando el sesgo de selección. Es un intento de obtener un 
estimado del impacto del programa, comparando las mismas pbt tratadas 
a lo largo del tiempo. Sin embargo, no proporciona una estimación 
consistente del impacto del programa, porque existen otros factores que 
afectan los resultados. Así, al comparar el resultado de las pbt tratadas 
con el grupo de control similar, esta comparación, es la base de la esti- 
mación de impacto del programa que funciona bien con la aleatorización, 
porque la asignación de individuos o grupos (pbt) al tratamiento y grupos 
de comparación, es al azar. Por lo tanto, se espera una estimación no 
sesgada, o imparcial, del impacto del programa en la muestra que será 
obtenida cuando el diseño y la implementación de la evaluación aleatoria, 
son apropiados. El ejercicio descrito más adelante, demuestra la estima- 
ción de impacto aleatoria, con diferentes escenarios. En esta sección, la 
evaluación del impacto aleatoria se demuestra de arriba abajo: es decir, 
desde la colocación del programa hasta la participación de la pbt en el 
mismo. 


Impacto de un programa de innovación 

de pbt por región 

Suponga que es un programa hipotético de entrega de microcréditos, 
como programa de estímulos a la innovación (pei) que se asignan alea- 
toriamente a ciertas regiones de un país, y además sin diferencias entre 
las regiones tanto tratadas como de control. Así, se desea determinar el 
impacto de la colocación del pei en los gastos anuales totales per cápita 
de las pbt. Para este ejercicio, se utilizará el archivo de datos pei_08.dta. 
Los siguientes comandos, abren y crean un archivo log de dos variables 
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de salida: exptot y smefac (unidad que se debera dividir entre 100) antes 
de unirse al programa de microcréditos pei para las pbt: 


use “/Users/DCA/Desktop/STATA log files/pei_08.dta” 
gen lexptot=In(1+exptot) 
gen Insmefac=In(1+smefac/100) 


Así, se crea una variable dummy (ficticia), para la colocación del pei 
en las pbt de microcrédito en las regiones del país. Se crean dos variables 
para la colocación del pei: una como programas para CEOs masculinos y 
otra como programa para CEOs femeninos: 


gen clstergn=cluster*10+region 
egen pclstergnm=max(dmmfd), by(clstergn) 
egen pclstergnf=max(dfmfd), by(clstergn) 


Asi que: 


e Primero, use el método mas simple para calcular el efecto de trata- 
miento promedio de la colocación del pei para las pbt por región. 
Se realiza mediante el comando STATA ttest, que compara el 
resultado entre las pbt por región tratadas y las de control. 

e El siguiente comando, muestra los efectos de la colocación del pei 
a los CEO femeninos de las pbt por región. Ver Tabla 3.2. 


ttest lexptot, by(pclstergnf) 
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Tabla 3.2. Comandos y tabla de resultados colocación del pei 
alos CEO femeninos de las pbt por región 
. use "/Users/DCA/Desktop/STATA log files/pei_98.dta" 
. gen lexptot=ln(1+exptot) 


+ gen Insmefac=ln(1+smefac/100) 


. gen clstergn=cluster*l0+region 


egen pclstergnm=max(dmmfd), by(clstergn) 


. egen pclstergnf=max(dfmfd), by(clstergn) 


. ttest lexptot, by(pclstergnf) 


Two-sample t test with equal variances 


Group Obs Mean Std. Err. Std. Dev. [95% Conf. Interval] 

o 67 8.328525 . 0644093 5272125 8.199927 8.457122 

1 1,062 8.458371 -0157201 5122923 8.427525 8.489217 

combined 1,129 8.450665 - 0152934 5138679 8.420659 8.480672 

diff -.1298466 .0646421 -,2566789 -.0030142 

diff = mean(®) - mean(1) t= -2.0087 

Ho: diff = 0 degrees of freedom = 1127 
Ha: diff < 0 Ha: diff != 0 Ha: diff > 0 

Pr(T < t) = 0.0224 Pr(|T| > |t|) = 0.0448 Pr(T > t) = 0.9776 


Fuente: STATA con datos propios. 


e El resultado, muestra que la diferencia entre las pbt por región 
tratadas y de control es significante. Esto es, la colocación del pei 
para las CEO femeninas por región mejora el gasto per cápita de las 
pbt. Aunque la diferencia es negativa en el resultado, el impacto 
se interpreta como positivo. El signo negativo, simplemente 
significa que el resultado del pei regional de las pbt (pclstergnf 
= 1) es más que eso, en pei no regionales pbt no programados 
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(pclstergnf = 0), lo que implica que el impacto de la participación, 
es de hecho positivo. 

e Alternativamente, puede ejecutar la ecuación más simple que 
ejecuta la regresión del pei por gasto per cápita pbt vs. el pei 
dummy (ficticio) pbt de la región. Ver Tabla 3.3. 


reg lexptot pclstergnf 


Tabla 3.3. Comandos y tabla de resultados regresión del pei por gasto 
per cápita pbt vs. el pei dummy (ficticio) pbt de la región 


. reg lexptot pclstergnf 


Source ss df MS Number of obs = 1,129 
F(1, 1127) = 4.03 

Model 1.06259118 1 1.06259118 Prob > F = 0.0448 
Residual 296.797338 1,127 .263351676 R-squared = 0.0036 
Adj R-squared = 0.0027 

Total 297.85993 1,128 .264060221 Root MSE = .51318 
lexptot Coef. Std. Err. t P>|t| [95% Conf. Interval) 
pclstergnf .1298466 .0646421 2.01 0.045 .0030142 .2566789 
_cons 8.328525 . 0626947 132.84 0.000 8.205513 8.451536 


Fuente: STATA con datos propios. 


El resultado (0.130) provoca el mismo efecto, el cual es significante. 


e La regresión anterior, estima el impacto general de los pei de la 
región sobre el gasto per cápita de las pbt. Es posible que sea 
diferente del impacto en el gasto, después de mantener constantes 
otros factores, esto es, especificando el modelo ajustado para las 
covariables que afectan los resultados de interés. Ahora, realice la 
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regresión del mismo resultado (log del gasto per cápita de las pbt) 
contra el dummy de las pbt de la región más otros factores que 
pueden influir en el gasto. Ver Tabla 3.4. 


reg lexptot pclstergnf genceo ageceo educeo Insmefac bdbaccess 
pcirr raw1 raw2 raw3 raw4 raw5 [pw=weight] 


Ajustando para los otros factores covariantes, se encuentran 
impactos no significantes por colocación del programa en la 
variable de resultado: 


Tabla 3.4. Comandos y tabla de resultados regresión del pei 
por gasto per cápita pbt vs. el pei dummy (ficticio) pbt 


de la región con covariantes adicionales 


. reg lexptot pclstergnf genceo ageceo educeo Insmefac bdbaccess pcirr rawl raw2 raw3 raw4 rawS [pw=weight] 
(sum of wot is 1.1260¢+03) 
note: raw4 omitted because of collinearity 


Linear regression Number of obs = 1,129 
F(11, 1117) = 21.34 
Prob > F = 0,0000 
R-squared = 0,2411 
Root MSE = .4628 

Robust 
lexptot Coef. Std. Err. t P>jti [95% Conf. Interval] 
pelstergnf -.0476228 .1048081 -0.45 -.2532657 .1580201 
genceo -.0378989  .0638106 -0.59 -.1631011 .0873033 
ageceo 0030443 0012857 2.37 . 0005216 . 0055669 
educeo -0490643 = . 8057238 8.57 -0378336 -060295 
insmefac .187556 .0388141 4.83 -1113992 -2637128 
bdbaccess -.0401021 .0494552 -0.81 -.1371376 .0569334 
peirr -0605069 1.82 -.0084342 .2290057 
rawl -0109051 0.99 -.0105881 .0322054 
raw2 . .0197685 -1.32 -.0649316 - 0126435 
raw3 «0126889 .0071662 1.77 -. 0013718 -0267496 

raws © (omitted) 
raw5 -1001298  .0610757 1.64 0.101 -.0197062 .2199657 
-cons 7.925905 .2181363 36.33 0.000 7.497902 8.353908 


Fuente: STATA con datos propios. 


162 


CAPITULO 3. ALEATORIZACION 


Evaluación de impacto por participación 
Aunque la asignación del pei de microcrédito a pbt es aleatoria en todas 
las regiones, la participación puede no serlo, por lo que: 


e Solo aquellas pbt que tengan menos de 50 décimos de activos 
como facilidades, pueden participar en los programas de microcré- 
dito (llamados también, grupos objetivo). Como se hizo anterior- 
mente, comience con el método más simple para calcular el efecto 
promedio del tratamiento de pei de participación para CEOs feme- 
ninas de las pbt, a través del comando STATA ttest, que compara el 
resultado entre las pbt regionales tanto tratadas como de control: 


ttest lexptot, by(dfmfd) 
El resultado, muestra que la diferencia entre participantes y no 
participantes, no es significante. Ver Tabla 3.5. 


Tabla 3.5. Comandos y tabla de resultados prueba t del peipor gasto per 
capita pbt vs. participantes y no participantes CEO femenina 
. ttest lexptot, by(dfmfd) 


Two-sample t test with equal variances 


Group Obs Mean Std. Err. Std. Dev. [95% Conf. Interval] 

0 534 8.447977 -023202 -5361619 8.402398 8.493555 

1 595 8.453079 -0202292 -4934441 8.413349 8.492808 

combined 1,129 8.450665 -0152934 -5138679 8.420659 8.480672 

diff -.005102 - 0306448 ~. 0652292 - 0550253 

diff = mean(0) - mean(1) t= -0.1665 

Ho: diff = 0 degrees of freedom = 1127 
Ha: diff < 0 Ha: diff != 0 Ha: diff > 0 

Pr(T < t) = 0.4339 Pr(|T] > |t|) = 0.8678 Pr(T > t) = 0.5661 


Command 


Fuente: STATA con datos propios. 
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e De nuevo, puede ejecutar el modelo de regresión simple contra la 
participación en el pei de las CEO femeninas: 


reg lexptot dfmfd 


La regresión, ilustra que el efecto de la participación de las CEO 
femeninas en los pei de microcrédito no es diferente de cero. Ver 
Tabla 3.6. 


Tabla 3.6. Comandos y tabla de resultados de regresión del pei por gasto 
per cápita pbt vs. CEO femenina 


. reg lexptot dfmfd 


Source ss df MS Number of obs = 1,129 
F(1, 1127) = 0.03 

Model - 067325582 1 .007325582 Prob > F = 0.8678 
Residual 297.852604 1,127 .264288025 R-squared = 0.0000 
Adj R-squared = -0.00909 

Total 297.85993 1,128 .264060221 Root MSE = .51409 
lexptot Coef. Std. Err. t P>|t| [95% Conf. Interval] 
dfmfd 005102 - 0306448 0.17 0.868 -.0550253 . 0652292 
-cons 8.447977 -0222468 379.74 0.000 8.404327 8.491626 


Fuente: STATA con datos propios. 


e Ahora, de manera similar a la regresión de la colocación del 
programa por región, incluya otras pbt y covariables a nivel 
regional en la ecuación de participación CEOs femenina: 


reg lexptot dfmfd genceo ageceo educeo lnsmefac bdbaccess pcirr 
raw1 raw2 raw3 raw4 raw5 [pw=weight] 


164 


CAPITULO 3. ALEATORIZACION 


El impacto de la participación de las CEO femenina en el gasto de 
las pbt, ahora ha cambiado de no significante a significante (nivel 
del 10 por ciento). Ver Tabla 3.7. 


Tabla 3.7. Comandos y tabla de resultados de regresión del pei por gasto 


per cápita pbt vs. CEO femenina y covariantes adicionales 


. reg lexptot disfé gerceo apeces piures lnsmetar beheccess peóre rawi cow? raed reed reus [peresnight] 
Huan of wet de 1.1164m+41) 
note: rv omitted because af caliianarity 


Linear regreasior Humber of obs ” 1.119 
rill, 1117) - 2.4 
Prab »” F ” tenn 
Reveuered z RETE] 
Nest MSE . Ann 
Aosest 

lexptot Cort. Ste, Erre t Perit (95% Cont, Tetervail 
fete EOIS INPS 2.00 9.068 „IT :1302225 
geacen - 1314735 asn: «1,311 0,803 - 19065 eszenet 
aparan 1010465 bells 2.18 4.019 0905156 Ones 
omen MATIAS ebaetk? aa 4.168 ATA 163064 
lesnetoc MATES] 0411234 4.11 5.00 ¿1203533 JPH 
tobaccess -RI LALLE TAE “0.47 0.504 -. 1107911 MEE 
peire .eoei7e? LTE REITI 1,62 4,10) -. 0200149 -2101732 
rai B0924) arisa: .n 8.4067 - 413016 LELTE 
raw - IA LESTERA] -h,14 0,17% - 6640r) ¡4119708 
rus «012182 =. abv 2425 1.14 0.0% -001526 ¿126942 

rit è femitted) 
rit - 1013195 0611401 1.47 4.05 -.0177241 2127781 
cone T.0507105 — 2146700 z. 4.008 +. 405502 4,110014 


Fuente: STATA con datos propios. 


Evaluación de impacto por participación y región 

Los dos ejercicios anteriores, mostraron en regresiones separadas, los 
efectos de la colocación y participación en el programa. Sin embargo, 
estos dos efectos se pueden combinar en la misma regresión, lo que da 
una estimación más imparcial, sin sesgos: 
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reg lexptot dfmfd pclstergnf genceo ageceo educeo Insmefac 
bdbaccess pcirr raw1 raw2 raw3 raw4 raw5 [pw=weight] 


Los resultados muestran un efecto no significativo de la colocación 
del programa, con un efecto positivo (7.3%) de las CEO femeninas de 
las pbt participantes en el programa (t = 2.05). 


Tabla 3.8. Comandos y tabla de resultados de regresión del pei por gasto 


per cápita pbt vs. CEO femenina por región y covariantes adicionales 


= reg Leoptat dfafd pristanga? gesoro ageces edaces Laseefac bdbncoess prirr rewl raw? reed reed coed [pemwetght) 


{yaa af agt tsb, El 
sabe! piel Galthed armo af collieries 


Linear regresa bos Manier af gas 5 1,135 
Fada, DEHE: = Lo. db 
Prat =P a ee 
A-Equared a MES 
fest má a FOTO 

Pei 
Lenpbst iasi, dtd, Eri, t Bii am Geel, beter 
drafd ATETA apoen 3-58 (Ej! MIERELÍA LES 
pelerergar — REGLA USAS 32001 BAER - ane Lae 
ganres -Ip ATE “Lil fa -HIHN ATH 
ERE AA EE ¿2-43 040 AGA LE] 
edaces BEREBER PTAL 1223 LiH AURA PREP 
Lassa BALAL «MAI 4,30 LH UZM E HEL 
Bibarrkas -AITE HHG -EMO A AMD ASES 
acirr TS LT EI A E ELO E 
rast ESS obist Lii E] = ALE? B Erari 
Pita AA TEA 4 bh El ALGA 
Final ALT TLL 5.7] nmi et LL STD 

rasi a imitis] 
rad <DAEXFLE > ¿ALETA Pe | iH = AES EHN 
Dans TAHTI JITA Mn e PAHIA AHH 


Fuente: STATA con datos propios. 
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Evaluación de impacto por participación 

a nivel regional 

Ahora, vea si la participación en el programa es importante, para las pbt 
de la región. Comience con el modelo simple y restrinja la muestra para 
programar a nivel región: 


reg lexptot dfmfd if pclstergnf ==1 [pw=weight] 


El resultado muestra, que el impacto de la participación de CEOs 
femeninos en el pei de microcrédito en las pbt individuales, es de hecho, 
negativo. La participación en el pei de CEOs femeninos reduce el gasto 
per cápita de las pbt del en un 7.0 por ciento.Ver Tabla 3.9. 


Tabla 3.9. Comandos y tabla de resultados de regresión del pei por gasto 
per cápita pbt vs. CEO femenina participante por región 


. reg lexptot dfmfd if pclstergnf ==1 [pw=weight] 
(sum of wgt is  1.0517e+03) 


Linear regression Number of obs = 1,062 
F(1, 106@) = = VY 
Prob > F = 0.0590 
R-squared = 0.0044 
Root MSE = .51738 
Robust 
lexptot Coef. Std. Err. t P>|t| [95% Conf. Interval] 
dfmfd -.0700156 .0370416 -1.89 0.059 -.1426987 .D026675 
_cons 8.519383 .0294207 289.57 6.000 8.461653 8.577112 


Fuente: STATA con datos propios. 
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Ahora, realice la regresión del modelo extendido (es decir, que 
incluya otras variables que influyan en los gastos totales): 


reg lexptot dfmfd genceo ageceo educeo Insmefac bdbaccess pcirr 
rawl raw2 
raw3 raw4 raw5 if pclstergnf ==1 [pw=weight] 


Al mantener constantes todas las demas variables, se observa que la 
participacion de las CEOs femeninas se vuelve positivo y es significativo 
al nivel del 10%.Ver Tabla 3.10. 


Tabla 3.10. Comandos y tabla de resultados de regresión del pei por gasto 
per cápita pbt vs. CEO femenina y región participante 


e lapm dief mema ageces ett lepte eros prirr rel riat reed rl ra EF letargo ==1 [pei gt] 
(a a o is) LA 
mates rol pete become of collomaritp 


Liar regresan feeber al aia a VALI ta 
FELI, Jaia} E bim 
Fi + F z LEL 
l-gar = iS 
Rat FE = L 

bebat 
lsrini Sti. Err- È Priel Bär Cel. termal] 
arate -WEHI Ln kP MENIT ARLET 
pemes JWS <BR E -Un D 
agers BL PTAL El LH fee MEHE? shz 
Er tt L | ABS MEDIR 
Teaetar 13027 Ir ë H ESTOS E 
babas rese AA CMe LD GATO 


ANTÓN A A A 
Hb kah O A E 
DIMI LM O E Ec dEl 
E LELI LEH fmi WA | ld] 
(mitted! 

ARA Lh BLU AL A 
E ET AE A TE 


prir 


“Fuente: STATA con datos propios. 
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Evaluando los efectos indirectos o de derrame 
(spillover) 

Este ejercicio, investiga si la colocación del programa en las pbt tiene 
algún impacto en los no participantes. Esta prueba, es similar a lo que 
se hizo al principio, pero excluye a los participantes del programa. 
Comience con el modelo simple y restrinja la muestra al programa por 
regiones: 


reg lexptot pclstergnf if dfmfd==0 [pw=weight] 


El resultado, no muestra ningún efecto indirecto (spillover). Ver 
Tabla 3.11. 


Tabla 3.11. Comandos y tabla de resultados de regresión del pei por gasto 
per cápita pbt vs. CEO femenina no participante por región 


. reg lexptot pclstergnf if dfmfd==@ [pw=weight] 
(sum of wgt is  6.9674e+02) 


Linear regression Number of obs = 534 
F(1, 532) = 0.00 
Prob > F = 0.9525 
R-squared = 0.0000 
Root MSE = .55686 

Robust 
lexptot Coef. Std. Err. t P>|t| [95% Conf. Interval) 
pclstergnf -.0074135 . 1243228 -0.06 0.952 -.2516373 .2368103 
-cons 8.526796 . 1207848 70.59 0.009 8.289523 8.76407 


Fuente: STATA con datos propios. 
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A continuación, ejecute la regresión del modelo extendido. 


. reg lexptot pclstergnf genceo ageceo educeo Insmefac bdbaccess 
pcirr raw1 raw2 raw3 raw4 raw5 if dfmfd ==0 [pw=weight] 


Como se puede ver en el resultado que sigue, la colocación del 
programa en las pbt muestra que no hay efectos indirectos (spillover) sin 
efecto de desbordamiento después de controlar las otras variables. Ver 
Tabla 3.12. 


Tabla 3.12. Comandos y tabla de resultados de regresión del pei por gasto 
per cápita pbt vs. CEO femenina no participante por región 


con covariantes adicionales 
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Fuente: STATA con datos propios. 
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CAPITULO 4. 
Propensión 
de Coincidencia de Puntaje 


(PSM. Propensity Score Matching) 


Dadas las preocupaciones con la implementación de evaluaciones aleato- 
rias, el enfoque de evaluación de impacto perfecto sigue siendo un método 
en teoría. Por lo tanto, cuando un tratamiento no puede ser aleatorizado, 
lo mejor que puede hacer es intentar imitar la aleatorización, es decir, 
intentar tener un análogo observacional de un experimento aleatorio. Con 
los métodos coincidentes, se intenta desarrollar un grupo contrafactual o 
de control que sea tan similar al grupo de tratamiento como sea posible, 
en términos de características observadas. La idea es encontrar, desde un 
gran grupo de no participantes, individuos que son observacionalmente 
similares a los participantes en términos de características no afectadas 
por el programa (pueden incluir, características de preprograma, por 
ejemplo, porque esos claramente no se ven afectados por la participación 
subsecuente del programa). Cada participante es emparejado con un no 
participante observacionalmente similar, y posteriormente, se compara la 
diferencia promedio en los resultados entre los dos grupos, para obtener el 
efecto del tratamiento del programa. Si se supone que las diferencias en 
la participación son basados únicamente en las diferencias en las caracte- 
rísticas observadas, y si hay suficientes no participantes disponibles para 
coincidir con los participantes, se puede medir el efecto del tratamiento 
correspondiente, incluso si el tratamiento no es al azar. 

El problema es identificar, con credibilidad, los grupos que se parecen. 
La identificación, es un problema porque incluso si las pbt coinciden a lo 
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largo de un vector, X, de características diferentes, raramente se encon- 
trarían dos pbt que sean exactamente similares entre sí en términos de 
las muchas características que compartan. Debido a que existen muchas 
características posibles, una forma común de hacer coincidir las pbt es 
hacer coincidir la propensión del puntaje. En PSM, cada participante se 
compara con un no participante sobre la base de un propensión de puntaje 
único, reflejando el probabilidad de participar condicionalmente en las 
diferentes características observadas de X (Rosenbaum y Rubin, 1983). 
PSM por lo tanto, evita la maldición de la dimensionalidad, asociado con 
tratar de unir a participantes y no participantes en todas las posibilidades 
característica cuando X es muy grande. 


¿Qué es PSM? 

Gertler et al. (2017) afirman que los métodos de coincidencia (matching) 
se pueden aplicar en el contexto de casi todas las reglas de asignación de 
un programa, siempre que se cuente con un grupo que no haya partici- 
pado en el mismo. La coincidencia, utiliza técnicas estadísticas para cons- 
truir un grupo de comparación. Para cada unidad posible, el tratamiento 
intenta encontrar una unidad de no tratamiento (o conjunto de unidades 
de no tratamiento) que tengan características lo más parecidas posible. 
Suponga, un caso en el que se propone evaluar el impacto de un programa 
de capacitación de innovación eso y se cuenta con una base de datos, con 
los registros de ingreso, domicilio, declaraciones tributarias, que contiene 
tanto a los individuos que se inscribieron en el programa como a los indi- 
viduos que no lo hicieron. 

El programa que se intenta evaluar, no tiene reglas de asignación 
claras (como asignación aleatoria o un indice de elegibilidad) que 
explique por qué ciertos individuos se inscribieron en el programa y otros 
no lo hicieron. En este contexto, los métodos de coincidencia o parea- 


miento (matching), permitirán identificar el conjunto de individuos no 
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inscritos que más se parece a los individuos tratados, a partir de las 
características que ya se tienen en la base de datos. Estos individuos 
no inscritos coincidentes posteriormente, se convierten en el grupo de 
comparación que se emplea para estimar el contrafactual. La búsqueda 
de una buena pareja para cada participante del programa, requiere apro- 
ximarse todo lo posible a las características que explican la decisión del 
individuo de inscribirse en el programa. Desafortunadamente, en la prác- 
tica esto es más dificil. Si la lista de características observables relevantes 
es muy grande, o si cada característica adopta muchos valores, es posible 
que sea complicado identificar una pareja para cada una de las unidades 
del grupo de tratamiento. A medida que aumenta el número de caracterís- 
ticas o dimensiones con las que se quiere coincidir o parear las unidades 
que se inscribieron en el programa, es posible encontrarse con lo que se 
denomina la maldición de la dimensionalidad. 

Por ejemplo, si solo se consideran tres características importantes 
para identificar el grupo de comparación del pareamiento, como la edad, 
el género y si la persona tiene un diploma de estudios de pregrado, es 
probable que se encuentren parejas para todos los participantes que se 
inscribieron en el programa entre el conjunto de aquellos que no se inscri- 
bieron (los no inscritos), pero se corre el riesgo de dejar al margen otras 
Características potencialmente importantes. Sin embargo, si se aumenta 
la lista de características, por ejemplo, para incluir el número de años 
de estudios, el número de meses que el individuo lleva desempleado, 
el número de hijos, el número de años de experiencia, etc., es posible 
que la base de datos no contenga una buena pareja coincidente para la 
mayoría de los participantes del programa que están inscritos, a menos 
que abarque un número muy grande de observaciones. El Gráfico 4.1 
ilustra la coincidencia (matching) sobre la base de cuatro características: 
edad, género, meses de desempleo, y diploma de estudios de pregrado. 
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Gráfico 4.1. Coincidencia exacta en cuatro características 


Unidades tratadas Unidades no tratadas 

Edad: [Género Pe. aka e. desempleado oe 
| 

0 

1 

0 1 

1 0 

1 1 

1 0 

46 0 3 0 41 = 0 11 1 
33 | o 12 1 ore | a | aS 

40 1 2 0 27 0 4 0 


Fuente: Gertler et al. (2017). 


Lo que hace PSM 


PSM construye un grupo de comparación estadística modelando la 
probabilidad de participar en el programa, sobre la base de las carac- 
terísticas observadas no afectadas por el programa. Posteriormente, los 
participantes se comparan en función de esta probabilidad o propensión 
de puntaje, a los no participantes, utilizando diferentes métodos descritos 
más adelante en el capítulo. La media del efecto del tratamiento (ATE. 
Average Treatment Effect) del programa, se calcula como la diferencia 
de la media en los resultados a través de estos dos grupos. Por sí solo, el 
PSM es útil cuando solo se observan características que se cree, afectan 
la participación en el programa. Esta suposición depende de las reglas 
que rigen la focalización del programa, así como cualquier factor que 
impulse la autoselección de individuos o pbt en este caso. Idealmente, si 
está disponible, la línea de base previa al programa, los datos sobre parti- 
cipantes y no participantes pueden usarse para calcular la propensión de 
puntaje y hacer coincidir los dos grupos. 
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La selección de características observadas, también puede ayudar en 
el diseño de experimentos de ondas múltiples (multiwave experiments). 
Hahn et al. (2008) muestran que los datos disponibles sobre covariables 
para individuos que son blanco de un experimento, digamos en la primera 
etapa de una intervención de dos etapas, se pueden usar para elegir una 
regla de asignación de tratamiento para la segunda etapa, condicionada 
en características observadas. Esto equivale, a elegir el propensión de 
puntaje en la segunda etapa y permite una estimación más eficiente de los 


efectos causales. 


Coincidencia por propensión de puntaje 


La llamada maldición de la dimensionalidad, es posible resolverla 
fácilmente utilizando el método denominado propensión de coincidencia 
de puntaje (propensity scrore-matching, Rosenbaum y Rubin, 1983). 
Con este enfoque, ya no se requiere que se intente coincidir o parear a 
cada unidad inscrita con una unidad no inscrita que tenga exactamente 
el mismo valor para todas las características de control observables. En 
cambio, para cada unidad del grupo de tratamiento y del conjunto de 
no inscritos, se computa la probabilidad de que esta unidad se inscriba 
en el programa (el denominado propensión de puntaje) sobre la base de 
los valores observados de sus características (las variables explicativas). 
Esta puntuación, es un número real entre 0 y 1 que resume la influencia 
de todas las características observables en la probabilidad de inscribirse 
en el programa. 

Deberían utilizarse solo las características observables en la línea de 
base para calcular la propensión de puntaje. Esto se debe a que las carac- 
terísticas post tratamiento, pueden haberse visto afectadas por el propio 
programa, y el uso de dichas características para identificar a un grupo de 
comparación coincidente o pareado, sesgaría los resultados. Cuando el 


tratamiento influye en las características del individuo y se usan aquellas 
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características para parear, se escoge un grupo de comparación que se 
parece al grupo de tratamiento debido al propio tratamiento. 

Sin el tratamiento, esas características tendrían un aspecto muy dife- 
rente. Esto incumple el requisito básico de una buena estimación del 
contrafactual, a saber: que el grupo de comparación debe ser similar en 
todos los aspectos, excepto en el hecho de que el grupo de tratamiento 
recibe el tratamiento y el grupo de comparación no lo recibe. Una vez que 
se ha computado la propensión de puntaje de todas las unidades, aquellas 
del grupo de tratamiento pueden parearse con unidades en el conjunto de 
no inscritos que tienen los puntajes de propensión más cercanos. En la 
práctica, se utilizan muchas definiciones de lo que constituye la unidad 
más próxima o cercana para llevar a cabo un la coincidencia o parea- 
miento. Las unidades de control más cercanas, se pueden definir sobre 
la base de una estratificación de la propensión de puntaje, la identifica- 
ción de los vecinos más próximos de la unidad de tratamiento, conside- 
rando la distancia, dentro de un determinado radio, o utilizando técnicas 
de núcleo (kernel). Se considera una buena práctica verificar la robustez 
de los resultados de la coincidencia o pareamiento, empleando diversos 
algoritmos de que lo realizan (Rosenbaum, 2002). 

Estas unidades próximas se convierten en el grupo de comparación 
y se utilizan para producir una estimación del contrafactual. El método 
de coincidencias 0 pareamiento por propensión de puntajes, intenta 
imitar la asignación aleatoria a los grupos de tratamiento y compara- 
ción escogiendo para el grupo de comparación aquellas unidades que 
tienen propensiones similares a las unidades del grupo de tratamiento. 
Dado que el pareamiento de puntajes de propensión no es un método 
de asignación aleatoria pero intenta imitarlo, pertenece a la categoría de 
métodos cuasi-experimentales. La diferencia promedio en los resultados 
entre las unidades de tratamiento, o inscritas, y sus unidades de compara- 
ción correspondientes genera la estimación del impacto del programa. En 
resumen, el impacto del programa se estima comparando los resultados 
promedio de un grupo de tratamiento, o inscrito, y el resultado promedio 
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del subgrupo de unidades estadísticamente pareadas, donde el la coin- 
denica O pareamiento se basa en características observables en los datos 
disponibles. Para que la coincidencia o pareamiento por propensión de 
puntajes, produzca estimaciones del impacto de un programa para todas 
las observaciones tratadas, cada unidad de tratamiento o inscrita debe 
parearse con una unidad no inscrita. En este libro, el análisis de coin- 
cidencias O pareamiento, se centra en un pareamiento de uno a uno. No 
se analizarán otros tipos de pareamiento, como el de uno a varios o el 
de reemplazo/sin reemplazo. Sin embargo, en todos los casos, el marco 
conceptual descrito aquí seguiría vigente. 

En la práctica, puede ocurrir que para algunas unidades inscritas, 
no haya unidades en el conjunto de no inscritos que tengan puntajes de 
propensión similares. En términos técnicos, puede que se produzca una 
falta de rango común, o falta de superposición, entre la propensión de 
puntajes del grupo de tratamiento o inscrito y los del conjunto de no 
inscritos. 


Verificación de coincidencia o pareamiento 


El pareamiento se basa en el supuesto de que las unidades inscritas y no 
inscritas son similares en términos de cualquier variable no observable 
que podría influir tanto en la probabilidad de participar en el programa 
como en el resultado, por lo que se debe cuestionar (Gertler et al., 2017): 


e ¿La participación en el programa está determinada por variables 
que no se pueden observar? Esto no se puede comprobar directa- 
mente, de modo que para orientarse habrá que fiarse de la teoría, 
del sentido común y del conocimiento adecuado del contexto de la 
evaluación de impacto. 

e ¿Las características observables están bien equilibradas entre los 
subgrupos pareados? Compárense las características observables 
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de cada grupo de tratamiento y su grupo de unidades de compara- 
ción pareados en la línea de base. 

e ¿Se puede encontrar una unidad de comparación pareada para 
cada unidad de tratamiento? Verifíquese si hay un rango común 
suficiente en ladistribución de los puntajes de propensión. Las 
pequeñas zonas de rango común o superposición señalan que las 
personas inscritas y no inscritas son muy diferentes, y aquello 
arroja dudas sobre si el pareamiento es un método creíble. 


Teoría PSM 


PSM es un método flexible y oportunista, pues en principio se puede 
aplicar al tener una sola observación en el tiempo, siempre que existan 
observaciones de grupo de tratamiento y control. Por ejemplo, no es 
necesario contar con información de línea de base. Como PSM se puede 
aplicar cuando ninguno de los demás métodos no experimentales se puede 
usar, entonces se utiliza con mucha frecuencia. Por tanto, es necesario 
tener cuidado de asegurarse de que se cumplen los supuestos para poder 
aplicar la técnica y, por tanto, dar una interpretación acertada de los resul- 
tados. ¿Qué necesitamos en cuanto a los datos para asegurarnos de que 
PSM funcione? No se puede determinar si se cumplen los supuestos, pues 
no podemos verificar si lo no observado afecta o no la decisión de parti- 
cipación. Lo que en la práctica se hace es calcular las diferencias en las 
variables observables X; si los dos grupos son demasiado diferentes en las 
características observadas, esto podría ser evidencia de que es probable 
que también existan diferencias entre los dos grupos en características no 
observadas. Los resultados de los métodos de coincidencia o empareja- 
miento son confiables siempre y cuando existan razones para pensar que 
las variables no observables o no disponibles en la base de datos, que 
pueden incluir variables intrínse camente difíciles de medir, no son un 
determinante fundamental tanto de la participación en el programa como 
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de las variables de resultado potenciales. Por ejemplo, en un programa 
en el cual el costo de participación es nulo, es más difícil justificar que 
unos individuos elegibles participen y otros no, debido a la existencia de 
diferencias sistemáticas observables entre unos y otros. Si la participa- 
ción no era costosa, la motivación (Varible que usualmente no es posible 
medir) posiblemente no será un factor importante tanto en la participa- 
ción del programa como en la determinación de los resultados potenciales 
(Bernal y Peña, 2011). 

Una alternativa a PSM, sería estimar el modelo de diferencias, 
controlando por todo el vector X de variables independietes relevantes. 
De hecho, PSM puede interpretarse como un estimador de mínimos 
cuadrados ponderado por la probabilidad de participación en el programa. 
Sin embargo, PSM es preferible al simple modelo de diferencias con 
regresores adicionales por tres razones: 


e Primero, dado que la coincidencia o emparejamiento, es un método 
no paramétrico, no debemos hacer los supuestos implícitos en 
cuanto a la forma funcional que se hacen al usar las regresiones 
lineales. 

e Segundo, al restringir la muestra al soporte común, aseguramos 
que estamos comparando grupos comparables (aunque esto puede 
implicar que los impactos medidos no correspondan al total de la 
población, sino a una submuestra). 

e Tercero, cuando existen dudas sobre la posibilidad de extrapolación 
de resultados: si los grupos de tratamiento y control son bastante 
disímiles, el método de coincidencia o pareo, disminuye la extra- 
polación al reducir la comparación a la región de soporte común. 


No existe un método ideal para resolver el sesgo de selección fuera 
del ámbito experimental. En la práctica, lo mejor que podemos lograr es 
un método que funcione bajo circunstancias o supuestos que se pueden 


verificar, y que provea señales de alarma si no está funcionando bien. El 
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método de emparejamiento funciona cuando el sesgo de selección está 
determinado únicamente por variables observables. Con buenos datos 
y decisiones acertadas por parte del investigador, PSM puede ser un 
método poderoso. 

En la práctica, la participación en el programa puede depender 
tanto de variables observables como no observables o no disponibles 
en la base de datos. Las características de cada programa, en particular 
su focalización y la respuesta de los agentes, afectan la importancia de 
las características observables y no observables en la determinación de 
la selección en el programa. Entonces, para determinar si las variables 
observadas determinan exclusivamente la participación en el programa, 
y, por tanto, asegurar que PSM sea una aproximación válida, es necesario 
estudiar las características particulares del programa en cuestión. Dada 
la disponibilidad de datos representativos y altamente compara bles para 
los grupos de tratamiento y control, el proceso de estimación de PSM se 
puede resumir en el siguiente algoritmo (Bernal y Peña, 2011): 


1. Estimar la probabilidad de participar en el programa usando las 
muetras de tratamiento y control. Hay dos preguntas fundamen- 
tales al estimar la probabilidad de participación: qué modelo usar 
y qué variables incluir. En cuanto a la selección del modelo, la 
probabilidad de participación se puede estimar de varias maneras, 
incluídas la probabilidad lineal, probit o logit. La idea es especi- 
ficar un modelo P (D, = 1 | X ) = f (X), es decir, la probabilidad 
de participacióncomo una función f (+), que puede ser lineal o no 
lineal en las caracternisticas observablesde los individuos, X. Con 
frecuencia se prefieren logit o probit, y no los modelos de proba- 
bilidad lineal, por las deficiencias de ese último, en particular las 
predicciones fuera del inter valo [0, 1] y la presencia de heteroce- 
dasticidad. Cuando el tratamiento es binario y se estima la proba- 
bilidad de participación vs. la de no participación, los modelos 


logit y probit usualmente generan resultados similares. Por tanto, 
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la decisión de qué modelo escoger no es crítica. Sin embargo, 
cuando existen varias categorías de tratamiento, el caso es distinto. 
Se pueden usar los modelos logit o probit multinomiales. El probit 
multinomial está basado en supuestos menos fuertes que el logit 
multinomial y es, por tanto, preferido. En particular, el logit multi- 
nomial asume la independencia de alternativas irrelevantes, es 
decir, que la deseabilidad relativa de dos alternativas (odds ratio) es 
independiente de otras alternativas. Este supuesto, aunque conve- 
niente para la estimación, es poco probable que se cumpla en la 
práctica. Una vez seleccionado el modelo, ¿qué variables incluir en 
la estimación de la probabilidad de participación? Heckman et al., 
(1998) muestran que las estimaciones de PSM son muy sensibles 
a la selección de variables usadas para estimar P(X). La estrategia 
de coincidencia o emparejamiento, se basa en el supuesto de inde- 
pendencia condicional, que implica que las variables de resultado 
deben ser independientes del trata miento, una vez se condiciona 
por la probabilidad de participación. Por tanto, en la estimación de 
P(X) se deben incluir únicamente variables que afecten la decisión 
de participación y la variable de resultado de manera simultánea. 

Los investigadores se pueden guiar por los modelos que describan 
el fenómeno bajo estudio, investigaciones previas y conocimiento 
del diseño institucional. Candidatos naturales son entonces, 
variables que no cambien en el tiempo, o aquellas que hayan sido 
medidas antes de participar en el programa (asegurándose de que el 
efecto anticipación del programa no haya afectado dicha variable). 
Predecir las probabilidades de participación de cada individuo 
tanto para los tratados como para los controles. En el cálculo de la 
probabilidad de participación se incluye siempre una constante. Si 
no se tiene claridad acerca de qué variables incluir en la estimación, 
¿es mejor incluir más o menos variables? Hay varias razones para 
evitar incluir demasiadas variables. Por un lado, incluir variables 


no relacionadas puede exacerbar el problema de soporte común. 
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Por el otro, aunque el incluir variables irrelevantes en la estimación 
de la participación no sesgará los resultados, ni los hará inconsis- 
tentes, sí tiende a aumentar su varianza. También hay razones que 
sugieren que no es buena idea estimar modelos demasiado estili- 
zados. Solo se debe excluir una variable si hay consenso acerca de 
que no está relacionada con la variable de resultado o que no es 
una variable explicativa apropiada (por ejemplo, es una variable 
que puede verse afectada por el tratamiento). La decisión de qué 
variables, interacciones y términos de segundo orden incluir en la 
estimación de la probabilidad de participación tiene que ver con 
la significancia estadística. Una alternativa es estimar la especi- 
ficación preferida y revisar los estadísticos de la estimación para 
asegurarse del ajuste de ésta. Imbens y Rubin (2010) proponen un 
algoritmo secuencial para determinar la especificación de la proba- 
bilidad de participación, basado en la significancia estadística de 
cada término. A grandes rasgos, proponen comenzar con una espe- 
cificación muy parsimoniosa: incluir una constante y las variables 
que se consideran vitales en la coincidencia o emparejamiento, o 
que se piensa a priori que están altamente correlacionadas con la 
variable de resultado. Se define un nivel de significancia esperado 
para las variables que entren de manera lineal en la especifica- 
ción. Partiendo del conjunto de variables seleccionadas a priori, 
se estima repetidamente la probabilidad de participación a través 
de un probit usando máxima verosimilitud, incluyendo términos 
adicionales. 

Se deja el nuevo término solo si la significancia estadística está 
por encima del valor predeterminado (usando el estadístico de la 
prueba de relación de verosimilitud con la hipótesis nula de que 
el coeficiente del nuevo término es igual a cero, likelihood ratio 
test statistic). Después de elegir las variables que entran la espe- 


cificación de manera lineal, se eligen de manera similar uno a uno 
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los términos de segundo orden (cuadráticos e interacciones). Se 
incluyen términos de segundo orden solamente si las variables 
incluídas de manera lineal y se dejan solo si la significancia esta- 
dística está por encima de unos valores predeterminados de nuevo 
usando el estadístico de relación de verosimilitud. 
Restringir la muestra al soporte común. Explicado con mayor 
detalle en el supuesto del soporte común, más adelante 
Seleccionar un algoritmo de emparejamiento. Para cada individuo 
tratado se busca un individuo o grupo de individuos de control que 
tenga una probabilidad de participación similar: 
Si se encuentran individuos con una probabilidad similar de 
participación en el programa, siga al paso 6. 
Si no se encuentran individuos con probabilidad de partici pación 
en el programa similar, se vuelve al paso 1 y se especifica nueva- 
mente la ecuación de participación, por ejemplo, incluyendo 
más interacciones. Si después de varios intentos los indicadores 
de calidad del emparejamiento no mejoran, esto puede implicar 
que no se cumple el supuesto de independen cia condicional. Por 
tanto, no es posible estimar los efectos y se debe considerar una 
estrategia de estimación distinta a PSM. 
Revisar que las variables observables entre los grupos de trata- 
miento y control sean parecidas o estén balanceadas (balancing 
property) por grupos de probabilidad predicha. Para realizar esta 
comparación es necesario conocer las ponderaciones asignadas a 
los individuos del grupo de control, que están determinadas por el 
algoritmo de empa rejamiento seleccionado. 
Se calculan los impactos del programa como el promedio apropia 
damente ponderado de la diferencia entre la variable de resultado 
de los tratados y los no tratados. 
Se calculan los errores estándar e intervalos de confianza para deter 


minar si los impactos son estadísticamente significativos. 
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El enfoque PSM, intenta capturar los efectos de diferentes covaria- 
bles X observadas en el grupo de participación y capturarlas en un solo 
puntaje o indice de propensión (propensity score index). Posteriormente, 
en nuestro caso, los resultados de pbt participantes y los no participantes 
con puntajes de propensión similares se comparan, para obtener el efecto 
del pei en las pbt. Los pbt que no se encuentren en ninguna coincidencia, 
se descartan porque no hay base existente para la comparación. PSM 
construye un grupo de comparación estadístico, que se basa en un modelo 
de probabilidad de participar en el tratamiento T condicional a las carac- 
terísticas observadas X, o la propensión de puntaje: P (X) = Pr (T = 1 | X). 
Rosenbaum y Rubin (1983) muestran que, bajo ciertos supuestos, empa- 
rejar en P (X) es tan bueno como emparejar en X. Los supuestos necesa- 
rios para la identificación del efecto del programa, son (Khandker et al., 
2017): 


e Condicionales independencia, y 
e Presencia de un soporte común. 


Además, como se discutió en los capítulos previos, el efecto del trata- 
miento del programa, usando estos métodos pueden representarse como 
el efecto del tratamiento promedio (ATE. Average Treatment Effect) o el 
el efecto del tratamiento sobre el tratado (TOT. Treatment effect On the 
Treated). Por lo general, los investigadores y evaluadores pueden garan- 
tizar solo la validez interna de la muestra en oposición a la externa, por 
lo que solo se puede estimar el TOT. Los supuestos más débiles de inde- 
pendencia condicional, así como apoyo común se aplican a la estimación 
del TOT y también se analizan en este capítulo. 
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El supuesto de la independencia condicional 


La independencia condicional, establece que dado un conjunto de cova- 
riables observables X que no son afectados por el tratamiento, los resul- 
tados potenciales Y son independientes de la asignación del tratamiento 
T. Si Y ' representa los resultados para los participantes y Y,“ son los 
resultados para no participantes, la independencia condicional implica: 


YET Alsacia (4.1) 

Este supuesto también se llama falta de fundamento (uncounfoun- 
dedness), (Rosenbaum y Rubin, 1983), e implica que la adopción del 
programa se basa completamente en las características observadas. Para 
estimar el TOT en lugar del ATE, se necesita una suposición más débil: 


La independencia condicional, es un supuesto fuerte y no es un 
criterio directamente comprobable; depende de características específicas 
del programa en sí. Si las características no observadas determinan la 
participación en el programa, se violaría la independencia condicional y 
el PSM no es un método apropiado. Si las variables no observadas, afectan 
de hecho la participación y los resultados, esta situación produce lo que 
se llama un sesgo oculto (hidden bias) (Rosenbaum, 2002). Aunque el 
supuesto de independencia condicional, o falta de fundamento (uncoun- 
foundedness), no se puede verificar, la sensibilidad de los resultados esti- 
mados del método PSM pueden verificarse con respecto a las desvia- 
ciones de este supuesto de identificación. En otras palabras, incluso si no 
se puede estimar el alcance de la selección o el hidden bias (sesgo oculto), 
el grado para lo cual los resultados de PSM son sensibles a esta suposi- 
ción de falta de fundamento (uncounfoundedness) pueden ser probados. 
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En los siguientes capítulos, se discuten enfoques cuando la selección 
de no observados, está presente. Tener un amplio conjunto de datos de 
preprograma, ayudará a soportar la asunción independencia condicional 
al permitir que el investigador controle, tantas características observadas 
como podría estar afectando la participación en el programa (suponiendo 
que una selección no observada, esté limitada). Las alternativas gene- 
radas, al existir la selección de características no observadas, violan la 
independencia condicional, por lo que se discute en los siguientes capí- 
tulos, incluyendo la variable instrumental y los métodos de doble dife- 


rencia. 


El supuesto de soporte común 


Una segunda suposición, es el soporte común (common support) o la 
condición de superposición (overlap condition), donde: 0 <P (T,= 1 | X,) 
<1. Esta condición asegura que las observaciones de tratamiento tengan 
observaciones de comparación cercanas en la distribución de la propen- 
sión de puntaje (Heckman et al., 1999). Específicamente, la efecti- 
vidad de PSM también depende de tener un gran y aproximadamente 
igual número de observaciones participantes y no participantes para 
que una región sustancial de apoyo común se pueda encontrar. Para 
calcular el estimado de TOT, esta suposición puede ser expresada como: 
P(T,=1|X,))<1. 

Por lo tanto, las unidades de tratamiento tendrán que ser similares 
a las unidades sin tratamiento en términos de características observadas 
no afectadas por la participación; por lo tanto, algunas unidades sin 
tratamiento es posible que deban descartarse, para garantizar la compa- 
rabilidad. Sin embargo, en ocasiones un subconjunto no aleatorio de la 
muestra de tratamiento puede tener que descartarse, si las unidades de 
comparación similares no existen (Ravallion, 2008). Esta situación es 
más problemática ,porque crea un posible sesgo de muestreo en el efecto 
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del tratamiento. Examinar las características de las unidades retiradas, 
puede ser útiles para interpretar el sesgo potencial en los efectos esti- 
mados del tratamiento. 

Heckman et al., (1997), alientan a abandonar las observaciones del 
tratamiento con débil soporte común ya que sólo en ésta pueden hacerse 
inferencias sobre la causalidad, como se refleja en la Gráfica 4.2. 


Gráfica 4.2 Ejemplo de soporte común 
Densidad de puntaje 


No participantes Participantes 


ava~osog 


Propensión de 
1 Puntaje 


0 Región de soporte común 


Fuente: Khandker et al. (2017). 


Gráfica 4.3. Ejemplo de pobre balanceo y soporte común débil 


Densidad de puntaje 


No Participantes Participantes 


a» a-0n>00U 


Propensión de 
1 Puntaje 


0 Región de soporte común 


Fuente: Khandker et al. (2017). 


La Gráfica 4.3, representa un ejemplo de la falta de rango común, 
con las siguientes observaciones (Gertler et al., 2017): 
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a. 


En primer lugar, se estima la probabilidad de que cada unidad de 
la muestra se inscriba en el programa a partir de las caracteristicas 
observables de esa unidad, es decir, la propención de puntaje. El 
gráfico muestra la distribución de los puntajes de propensión por 
separado para los inscritos y no inscritos. El problema es que estas 
distribuciones no se superponen perfectamente. En el medio de la 
distribución, es relativamente fácil encontrar las parejas porque hay 
tanto inscritos como no inscritos con estos niveles de puntajes de 
propensión. Sin embargo, los inscritos con puntajes de propensión 
cercanos a 1 no se pueden parear con ningún no inscrito porque 
no hay no inscritos con propensión de puntajes tan altos. Hay tan 
poca similitud entre las unidades que tienen muchas probabilidades 
de inscribirse en el programa y las unidades no inscritas que no se 
puede encontrar una buena pareja para ellas. 
De la misma manera, los no inscritos con puntajes de propensión 
cercanos a 0 no pueden parearse con ningún inscrito porque no 
hay inscritos que tengan puntajes de propensión tan bajos. Por lo 
tanto, en los extremos, o colas, de la distribución de la propen- 
sión de puntaje aparece una falta de rango común. En este caso, 
el procedimiento de pareamiento estima el efecto local promedio 
del tratamiento (LATE. Local Average Treatment Effect) para las 
observaciones sobre el rango común. 
Los pasos que hay que seguir cuando se aplica un pareamiento por 
propensión de puntajes, se resumen en Jalan y Ravaillon (2003) y 
Rosenbaum (2002): 
Se necesitarán encuestas representativas y altamente comparables 
en las que se puedan identificar las unidades que se inscribieron 
en el programa y las que no lo hicieron. 
Se reúnen las dos muestras y se estima la probabilidad de que cada 
individuo se inscriba en el programa, a partir de las caracterís- 
ticas individuales observables en la encuesta. Este paso produce 
la propensión de puntaje. 
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Se limita la muestra a unidades para las que aparece un rango 
común en la distribución de la propensión de puntaje. 

Para cada unidad inscrita, se identifica un subgrupo de unidades 
con puntajes de propensión similares. 

Se comparan los resultados de las unidades de tratamiento, 
o inscritas, y las parejas de las unidades de comparación, o no 
inscritas. La diferencia de los resultados promedio de estos dos 
subgrupos es la medida del impacto que se puede atribuir al 
programa para esa observación específica tratada. 

La media de estos impactos individuales arroja una estimación 
del efecto local promedio del tratamiento. En la práctica, los 
programas estadísticos habitualmente usados incluyen comandos 
que realizan los pasos 2 a 6 de manera automática. 


Por ejemplo, suponga que las dos funciones de la Gráfica 4.4 


Gráfica 4.4. Otro ejemplo de soporte común 


Dersi 
P a poe Vilar 
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r. 


Fuente: Bernal y Peña (2011). 


Son distribuciones de probabilidad de participar para los grupos de 


control y tratamiento. Observe que para probabilidades mayores a P, no 
existen observaciones del grupo de control; esto implica que no es posible 
encontrar sujetos en el grupo de control que sean suficientemente pare- 
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cidas a las de tratamiento, ubicadas despúes de P, y, por lo tanto, no 
se tiene un buen grupo de control para estas observaciones. Así mismo, 
para valores inferiores a P,, no existen observaciones del grupo de trata- 
miento. Entonces, la región de soporte común está entre P, y P, siendo 
estos puntos de corte se determinan por inspección visual. 

Hay otras maneras de determinar el soporte común con más preci- 
sión. Una de ellas es el criterio del minimo y el máximo, que sugiere 
eliminar las observaciones inferiores al mínimo y mayores que el máximo 
del otro grupo. Esto se hace tanto para el grupo de tratamiento como para 
el de control. Estos dos criterios, de inspección visual y del máximo y el 
minimo, presentan fallas si hay áreas dentro del soporte común, donde no 
haya observaciones para uno de los dos grupos. 

Otra forma de definir la zona de soporte común, es la de elegir los 
valores de probabilidad estimada de participación para los cuales hay 
densidad positiva tanto para el grupo de tratamiento como para el de 
control. En el aseguramiento de que las densidades son positivas estric- 
tamente, se excluyen las regiones que tienen densidad positiva pero muy 
pequeña. Formalmente, aquellas que no excedan una densidad mínima de 
q (Smith y Todd, 2005). Este criterio se conoce como de trimming, en la 
que despúes de realizarlo se requiere estimar de nueva cuenta la probabi- 
lidad de participación. Mientras más alto sea el porcentaje de individuos 
coincidentes o emparejados, lo cual es un parámetro clave de la evalua- 
ción, los resultados probablemente serán calculados conmayor precisión. 
Independientemente del criterio usado para determinar el soporte común, 
sil la proporción de individuos eliminados es alta, esto genera dudas 
sobre la posibilidad de generalizar el efecto estimado con los individuos 
restantes al total de la población, por lo que se pone en juego la validez 
externa de las estimaciones. 

En general, es importante recordar tres cuestiones esenciales acerca 
de la coincidencia o pareamiento: 
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En primer lugar, los métodos de coincidencia o pareamiento solo 
pueden utilizar características observables para construir grupos 
de comparación, dado que las características no observables no 
se pueden considerar. Si hay alguna característica no observable 
que influye en la inscripción o no inscripción de la unidad en el 
programa, y que también influye en el resultado, las estimaciones 
de impacto obtenidas con el grupo de comparación pareado estarían 
sesgadas. Para que el resultado del pareamiento no esté sesgado, 
requiere un supuesto de mucho peso, a saber: que no hay diferen- 
cias no observables en el grupo de tratamiento y de comparación 
que también estén asociadas con los resultados de interés. 

Segundo, la coincidencia o pareamiento debe realizarse utilizando 
solo características que no estén afectadas por el programa. La 
mayoría de las características que se miden después del comienzo 
del programa no pertenecerían a esta categoría. Si los datos de 
línea de base (antes de la intervención) no están disponibles y los 
únicos datos son los existentes después de que la intervención ha 
comenzado, las únicas características que se podrán utilizar para 
construir una muestra pareada serán aquellas (normalmente pocas) 
características que no se ven afectadas por un programa, como la 
edad y el sexo. Aunque se quisiera parear utilizando un conjunto 
mucho más rico de características, entre ellas los resultados de 
interés, no se podrá hacerlo porque aquellas están potencialmente 
afectadas por la intervención. No se recomienda el pareamiento 
basado únicamente en características posteriores a la interven- 
ción. Si hay datos de línea de base disponibles, se puede realizar 
el pareamiento sobre la base de un conjunto más rico de caracte- 
rísticas, entre ellas, los resultados de interés. Dado que los datos 
se recopilan antes de la intervención, el programa no puede haber 
afectado aquellas variables anteriores a la misma. Sin embargo, si 
hay datos de línea de base sobre los resultados disponibles, no se 
debería utilizar el método de pareamiento solo, sino que habría que 
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combinarlo con diferencias en diferencias para reducir el riesgo de 
sesgo. Este procedimiento se detallará en la próxima sección. 

e Tercero, los resultados de la estimación del método de pareamiento 
solo son tan buenos como las características que se utilizan para el 
pareamiento. 


Si bien es importante poder parear utilizando un gran número de 
características, lo es aún más poder parear sobre la base de caracterís- 
ticas que determinan la inscripción. Cuanto más se comprenda acerca de 
los criterios utilizados para la selección de los participantes, en mejores 
condiciones se estará de construir el grupo de comparación. 


Breve ejemplo de soporte común por observación 
Suponga que toma una submuestra de 10 pbt del grupo de tratamiento 
y 10 pbt del grupo de control de del programa pei, con las siguientes 
probabilidades estimadas de participación. Ver Tabla 4.1. 


Tabla 4.1. Ejemplo determinación zona de soporte común 
con datos hipotéticos 
1 2 3 4 5 6 Y 8 9 10 


Tratamiento | 0.40 | 0.48 | 0.54 | 0.65 | 0.75 | 0.76 | 0.77 | 0.8 | 0.86 | 0.9 


Control 0.21 | 0.30 | 0.38 | 0.42 | 0.52 | 0.55 | 0.59 | 0.62 | 0.65 | 0.77 


Fuente: Bernal y Peña (2011) con adaptación propia. 


Si éste fuera el universo de estudio, la zona de soporte comun esta 
entre el minimo del grupo de tratamiento y el maximo del grupo de control. 
Así, se restringe entonces el análisis a los grupos con probabilidades 
P’ (X) = pE [0.40, 0.77]. Los grupos de tratamiento y control restrin- 
gidos son (ver Tabla 4.2). 
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Tabla 4.2. Ejemplo determinación zona de soporte común 
por grupos de tratamiento y control con datos hipotéticos 
il 2 3 4 5 6 Y 


Tratamiento | 0.40 0.48 0.54 0.65 0.75 0.76 0377 


Control 0.21 0.30 0.38 0.42 0.52 0.55 0.77 


Fuente: Bernal y Peña (2011) con adaptación propia. 


Note que, dada la restricción al soporte común, perdimos tres obser- 
vaciones del grupo de tratamiento y tres del grupo de control. Otra 
manera de restringir el soporte común consiste en tomar las zonas para 
las cuales existe probabilidad positiva en ambos grupos, es decir, elegir 
el rango de probabilidades de participación para el cual existen observa- 
ciones tanto del grupo de tratamiento como el de control. En este caso, 
también se eliminan las observaciones con probabilidades menores que 
0.40 y mayores que 0.77. Además, note que entre 0.54 y 0.65 no existen 
observaciones del grupo de tratamiento, y se eliminan además dos obser- 
vaciones del grupo de control (ver Tabla 4.3.). 


Tabla 4.3. Ejemplo determinación zona de soporte por zonas 


de probabilidad pr en ambos grupos con datos —_ 


moen [ee Jee fe fee e e e 


ENEE EA 


Fuente: Bernal y Peña (2011) con adaptación propia. 
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TOT usando PSM 

Si la independencia condicional se mantiene, y si hay una superposición 
considerable (sizable overlap) en P (X) entre los participantes y no parti- 
cipantes, el estimador de PSM para el TOT puede especificarse como la 
media de la diferencia en Y sobre el soporte común (common support), 
ponderando las unidades de comparación por la distribución de la propen- 
sión de puntaje de los participantes. Un estimador de sección transversal 
típico, se especifica de la siguiente manera: 


E 


TOT a 


PsM 7 {E[Y™| T= 1, P(X)] - EY] T=0, P(X)]}. (4.3) 

Mas explicitamente, con datos de seccion transversal y dentro del 
soporte comun, el efecto de tratamiento, puede escribir de la siguiente 
manera (ver Heckman et al., (1997) y Smith y Todd (2005): 


i 3 ; m 
= TOT pag = S y k Foli El ......... (4.4) 
"TI T 


¡sl 


Donde: 

N, es el número de participantes; i y œ (i, j) es la ponderación o peso 
usado para agregar las respuestas para coincidir a los no participantes j. 
Hay varios esquemas de ponderación disponibles para calcular resultados 
ponderados de los comparadores coincidentes. 


Reglas de aplicación PSM 


Para calcular el efecto del tratamiento del programa, primero se debe 
calcular la propensión de puntaje P (X) sobre la base de todas las cova- 
riables observadas X que afectan conjuntamente la participación y el 
resultado de interés. El objetivo de la coincidencia, es encontrar el 
grupo de comparación más cercano de una muestra de no participantes 
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a la muestra de participantes del programa. Se mide el más cercano en 
términos de características observables no afectadas por la participa- 
ción en el programa. Por lo que se sugiere seguir los siguientes pasos 
(Khandker et al., 2017): 


Paso 1: Estimando un modelo de participación 

de programa 

Las muestras de participantes y no participantes deben agruparse, y 
posteriormente, la participación T debe estimarse en todas las covaria- 
bles observadas X en los datos que son probables, para determinar la 
participación. Cuando uno está interesado solo en comparar resultados 
para aquellos que participan (T = 1) con los que no participan (T = 0), 
esta estimación puede ser construida a partir de un modelo probit o logit 
de participación en el programa. Caliendo y Kopeinig (2008) también 
proporcionan ejemplos de estimaciones de la ecuación de participación, 
con una variable de tratamiento no binario. En esta situación, es posible 
usar un multinomio probit (que es computacionalmente intensivo, pero 
basado en supuestos más débiles que el /ogit multinomial) o una serie de 
modelos binomiales. 

Después de estimar la ecuación de participación, los valores de 
predicción de T, se pueden calcular. El resultado de predicción, repre- 
senta la probabilidad estimada de participación o propensión de puntaje. 
Cada participante y no participante de la muestra tendrá una propensión 
de puntaje estimado, P' (X | T = 1) = P(X). Tenga en cuenta que la 
ecuación de participación, no es un modelo determinante, por lo que los 
resultados de la estimación, como las estadísticas t y el R? ajustado no son 
muy informativos y pueden ser engañosos. Para esta etapa de PSM, la 
causalidad no es tan interesante como la correlación de X con T. 

En cuanto a las covariables X relevantes, PSM estará sesgado si 
las covariables que determinan la participación no están incluidas en 
la ecuación de participación, por otros motivos. Estas razones podrían 
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ser, por ejemplo, datos de baja calidad o una comprensión deficiente 


del contexto local en el que se está introduciendo el programa. Como 


resultado, una orientación limitada existe sobre cómo seleccionar varia- 


bles X usando pruebas estadísticas, porque las características observadas 


que tienen más probabilidades de determinar la participación, tienen 


probabilidad de que estén basados en datos y contexto específico 


(Dehejia, 2005 para mayores sugerencias de selección de covariables). 
Heckman et al., (1997, 1998) muestran que el sesgo en PSM, en las 
estimaciones del programa, pueden ser bajas, dadas tres disposiciones 
generales (Khandker et al., 2017): 


196 


Primero, si es posible, se debe utilizar el mismo instrumento de 
encuesta o fuente de datos para los participantes y no partici- 
pantes. El uso de la misma fuente de datos, ayuda a garantizar que 
las características observadas ingresen al modelo logit o probit de 
participación para que sean medidas de manera similar, a través de 
los dos grupos y por lo tanto, reflejan los mismos conceptos. 

Segundo, una encuesta de muestra representativa tanto de los no 
participantes elegibles como de los participantes, pueden mejorar 
en gran medida, la precisión de la propensión de puntaje. Además, 
cuanto mayor sea la muestra de no participantes elegibles, se faci- 
litarán más las coincidencias. Si las dos muestras provienen de 
encuestas diferentes, entonces deberían ser encuestas altamente 
comparables (mismo cuestionario, mismos entrevistadores 0 capa- 
citación de entrevistadores, mismo período de encuesta, etc.). Un 
punto relacionado, es que los participantes y los no participantes, 
deben enfrentar los mismos incentivos económicos que podrían 
impulsar opciones como la participación en el programa (Rava- 
llion, 2008). El investigador podría explicar este factor al elegir 
participantes y no participantes de la misma área geográfica. 

Sin embargo, incluir demasiadas variables X en la ecuación de 
participación, debería evitarse; la sobreespecificación del modelo 
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puede generar errores estándar más altos para la propensión de 
puntaje estimado P(X) y también puede resultar en una predic- 
ción perfecta participación para muchas pbt (P'(X)). En el último 
caso, tales observaciones abandonarían el soporte común (como 
se analiza más adelante). Como se mencionó previamente, deter- 
minar la participación es un problema menor en la ecuación parti- 
cipante, que obtener una distribución de las probabilidades de 
participación. 


Paso 2: Definiendo la región de soporte común 

y pruebas de balanceo 

Posteriormente, la región de soporte común, necesita ser definida donde 
las distribuciones de propensión de puntaje al tratamiento y la super- 
posición del grupo de comparación. Como se mencionó anteriormente, 
algunas de las observaciones no participantes pueden tener que descar- 
tarse porque caen fuera del área de soporte común. Sin embargo, el sesgo 
de muestreo aún puede ocurrir si las observaciones no participantes, son 
sistemáticamente diferentes en términos de las características observadas 
de la muestra no participante retenida; estas diferencias deben ser moni- 
toreadas cuidadosamente para ayudar a interpretar el efecto del trata- 
miento. También, se pueden realizar pruebas de equilibrio para verificar 
si, dentro de cada cuartil de la distribución de la propensión de puntaje, la 
propensión de puntaje promedio y la media de X son iguales. 

Para que la PSM funcione, los grupos de tratamiento y comparación 
deben estar equilibrados en los puntajes de propensión que se basan en 
una X similar observada. Aunque, un grupo tratado y su comparador no 
tratado coincidente, podrían tener los mismos puntajes de propensión, no 
son a nivel observación, similares si existe una especificación errónea 
en la ecuación de participación. Las distribuciones del grupo tratado y 
el comparador deben ser similares, lo que implica el equilibrio. Formal- 
mente, el investigador necesita verificar que P' (X | T=1)=P(X|T=0). 
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Paso 3: Haciendo coincidentes participantes-no 
participantes 

La metodología de PSM se puede entender como una manera de ponderar 
las observaciones del grupo de control para que la distribución de carac- 
terísticas observables X sea lo más parecida posible a la del grupo de 
tratamiento. Todos los estimadores por coincidencia o emparejamiento, 
contrastan la variable de resultado de un individuo tratado con los resul- 
tados de uno o más miembros del grupo de control que más se parezcan al 
individuo tratado, con base en la medida P(X). Sin embargo, los estima- 
dores PSM difieren tanto en la manera en que se encuentra este grupo de 
individuos de control parecidos al tratamiento, como en la manera como 
estos vecinos son ponderados a la hora de hacer la comparación. Algunos 
de los estimadores más usados son el PSM por vecino más cercano (NN 
Nearest-Neighbor matching) y el PSM por kernel. 

Se pueden utilizar diferentes criterios de coincidencia para asignar 
participantes a no participantes en la base de propensión de puntaje. 
Hacerlo, implica calcular un peso para cada conjunto coincidente partici- 
pante-no participante. Como se discute a continuación, la elección de una 
técnica de emparejamiento particular por lo tanto, puede afectar la esti- 
mación del programa resultante a través de los pesos asignados con varias 
técnicas a saber, para selección del algoritmo de coincidencia o empareja- 
miento más idóneo (Khandker et al., 2017; Bernal y Peña, 2011): 


1. Vecino más cercano (NN.Nearest-Neighbor matching). Una de 
las técnicas de coincidencia o emparejamiento más utilizadas, es 
ésta también llamada NN coincidente, donde cada unidad de trata- 
miento, se hace coincidente a la unidad de comparación, con la 
propensión de puntaje más cercano. También se pueden elegir n 
vecinos más cercanos y hacer coincidencia (generalmente se usa 
n = 5). La coincidencia, se puede hacer con o sin reemplazo. Hacer 
coincidir con reemplazo, por ejemplo, significa que el mismo no 


participante se puede usar como una coincidencia para diferentes 
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participantes. Así, el individuo en el grupo de control, es tal que 
la distancia entre la probabilidad predicha de participación y la 
probabilidad predicha de participación del sujeto en el grupo de 
tratamiento, sea mínima. Una vez se ha coincidido o emparejado a 
cada sujeto participante en el programa con uno o más individuos 
del grupo de control, se calcula la diferencia entre la variable de 
resultado de los sujetos de tratamiento y la variable de resultado de 
los sujetos de control. El ATT se obtiene promediando estas dife- 
rencias de forma lineal. Si tomamos solo al vecino más cercano, el 
impacto del programa se calcula simplemente como la diferencia 
entre las variables de resultado. Si en vez de tomar al individuo con 
la probabilidad de participación más cercana al tratamiento deci- 
dimos tomar a los dos, tres o de manera general los n vecinos más 
cercanos, se debe decidir cuántos vecinos cercanos elegir para cada 
observación del grupo de tratamiento y qué peso darle a cada una de 
estas observaciones al calcular el impacto. Otra alternativa es hacer 
un promedio ponderado, según qué tan comparable es cada vecino. 
Es decir, la diferencia entre la variable objetivo del tratamiento con 
la de cada control se pondera por la distancia en la probabilidad 
de participar. Así, al impacto medido con un vecino muy cercano 
se le da más peso que al impacto medido con un vecino no tan 
cercano. La decisión de cuántos vecinos más cercanos usar genera 
una tensión (trade-off) entre el sesgo del estimador v su varianza. 
Al tener más de una observación en el grupo de control el empa- 
rejamiento es peor, pues a mayor número de vecinos, estaremos 
comparando individuos con probabilidades de participación más 
lejanas y, por tanto, menos parecidos entre sí. Esto genera sesgo en 
las estimaciones. Sin embargo, como se usan más observaciones 
diferentes para calcular el contrafactual de cada participante, se 
reduce la varianza. Este método se puede aplicar con o sin reem- 
plazo. En caso de permitir reemplazo, un individuo del grupo de 
control puede ser el vecino más cercano para más de un individuo 


199 


EVALUACIÓN DE IMPACTO SOCIAL EN PROYECTOS DE INNOVACIÓN VÍA STATA | TOMO I 


200 


de tratamiento; se usa solo una vez, en el caso sin reemplazo. 
Permitir el reemplazo genera de nuevo tensión (trade-off) entre el 
sesgo y la varianza. Al permitir el reemplazo, la calidad promedio 
del emparejamiento sube y, por tanto, el sesgo disminuye. Pero se 
reduce el número de individuos diferentes que se usan para calcular 
el contrafactual y, por tanto, las estimaciones son menos precisas. 
Por lo general, este método se aplica con reemplazo. En el caso 
del PSM por vecino más cercano (NN), todos los individuos del 
grupo de tratamiento en el soporte común son emparejados con 
algún miembro del grupo de control para el cálculo del ATT. 
Algunas de estas parejas pueden ser cuestionables, dado que para 
algunos individuos de tratamiento el vecino más cercano podría 
tener una probabilidad de participación P(X) bastante distinta, 43 
y aún contribuir al cálculo del ATT. Recuerde que el vecino más 
cercano de un individuo tratado i es aquel que tiene la diferencia 
en la probabilidad de participación más baja con i que cualquier 
otro individuo del grupo de control. Esta diferencia, sin embargo, 
puede no ser lo suficientemente pequeña como para estar seguros 
de que los dos individuos son muy parecidos, porque esta distancia 
mínima no tiene ninguna restricción de tamaño. Existe por otro 
lado, una variante que de le llega a conocer como emparejamiento 
de distancia máxima (FN. Farthest-Neighbor) que ocurre cuando 
si el vecino más cercano es lejano a la observación, el estimador 
de PSM por vecino más cercano puede emparejar observaciones 
que no son muy parecidas. Una manera de solucionar esto consiste 
en imponer un nivel de tolerancia en la distancia entre probabili- 
dades de participación. Coincidir o emparejar a cada individuo del 
grupo de tratamiento con la observación más cercana, siempre y 
cuando la distancia entre las probabilidades de participación sea 
menor o igual a un número determinado, mejora la calidad de la 
coincidencia o emparejamiento. También se puede hacer coincidir 
o emparejar a cada individuo del grupo de tratamiento con todos 
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los individuos de control dentro del nivel de tolerancia. Bajo este 
enfoque, se compara cada observación con tantas parejas como 
existan dentro del nivel de tolerancia. Así, el grupo de control crece 
si hay varias parejas cercanas y decrece sino. Por tanto, la compa- 
rabilidad de las parejas se asegura y se usa eficientemente la infor- 
mación disponible. Para calcular el ATT se sigue un procedimiento 
similar al caso de n vecinos cercano. Si solo existe una observación 
del grupo de control, el impacto del programa sobre ese tratado 
es la diferencia entre la variable objetivo entre el tratado y el 
control. Si hay más de un control en la distancia máxima, se hace 
un promedio (ponderado o no) de las diferencias en la variable 
objetivo entre el tratamiento y cada uno de los controles. No es 
claro, sin embargo, cómo determinar ex ante, el nivel de tolerancia, 
es decir, qué distancia entre las probabilidades de participación, es 
razonable. 

Calibración por coincidencia. (Caliper or radius matching). Un 
problema con la técnica NN coincidente, es que la diferencia entre 
la propensión de puntajes de un participante y su vecino no parti- 
cipante más cercano más cercano, todavía puede ser muy alto. 
Esta situación da como resultado, pobres cálculos de coincidencia 
que se es posible evitar al imponer un umbral o tolerancia sobre 
la distancia máxima de propensión de puntaje, a manera de cali- 
bración (caliper). Por lo tanto, este procedimiento implica hacer 
coincidir solo la propensión de puntajes, dentro de cierto rango, y 
reemplazar. Un gran número de no participantes no considerados, 
sin embargo, es probable que aumente la posibilidad de sesgo de 
muestreo. 

Estratificación o intervalo de coincidencia. (Stratification or 
interval matching). Este procedimiento, divide el soporte común en 
diferentes estratos (o intervalos) y calcula el impacto del programa 
dentro de cada intervalo específicamente, dentro de cada intervalo, 
el efecto del programa es la diferencia de la media en los resultados 
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entre las observaciones tratadas y las de control. Un promedio 
ponderado de estas estimaciones de impacto de intervalo, produce 
el impacto general del programa, tomando la proporción de parti- 
cipantes en cada intervalo como los pesos. También se le conoce 
como estimador de PSM por estratificación (subclassification o 
blocking) y hace una partición en el espacio de las probabilidades 
estimadas, y lo divide en estratos o rangos de probabilidad de parti- 
cipación. Posteriormente, se calcula el impacto en cada estrato, por 
ejemplo en el estrato j, como la diferencia promedio en la variable 
de resultado entre los grupos de tratamiento y control. El ATT se 
obtiene como la media ponderada de las diferencias por estrato, 
siendo los pesos la proporción de individuos tratados en el estrato 
sobre el total de individuos tratados en el soporte común. Surge 
una cuestión: ¿cómo determinar cuántos estratos armar? como se 
mencionó anteriormente, dentro de cada estrato tanto la probabi- 
lidad de participación promedio como la media de las variables de 
control debe ser igual entre los grupos de tratamiento y control. 
A esto se le llama que los grupos de tratamiento y control estén 
balanceados. Si la probabilidad no está balanceada, el intervalo es 
demasiado grande y es necesario partirle. Una vez balanceada la 
probabilidad de participación, es necesario checar que las variables 
observadas, X, estén balanceadas también. Si no lo están, es nece- 
sario reespecificar la probabilidad de participación, por ejemplo, 
incluyendo términos de interacción. Basándose en Cochran (1968), 
en la práctica con frecuencia se usan cinco estratos. Tomemos el 
siguiente caso como ejemplo. Una vez que se restringe la muestra 
al soporte común, comparamos las implicaciones de elegir dife- 
rentes métodos de emparejamiento entre observaciones del grupo 
de tratamiento y control. Usando estos datos ficticios se ejemplifi- 
carán los diferentes algoritmos de emparejamiento y, suponiendo 
que la calidad del emparejamiento es adecuada, se estimará el 
ATT. Volviendo al del pei para pbt, la siguiente tabla contiene 
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información restringida al soporte común tanto de la probabilidad 
de participación como de la variable resultado, que en este caso 
es el gasto gasto percápita de las pbt anual medida en un factor 
convenido monetario (ver Tabla 4.4): 


Tabla 4.4. Ejemplo estimador PSM por estratificación 
Observación 1 2 3 4 5 6 7 


Probabilidad de 
participación P' 


0.4 | 0.48 | 0.54 | 0.65 | 0.75 | 0.76 | 0.77 


Tratamiento 
Gasto percápita ZO 78. 74) | a7 | zo ae 
la pbt anual Y, 
Probabilidad a | 0.52 | 0.55 | 0.59 | 0.62 | 0.65 | 0.77 
participación p 

Control 


Gasto percápita de 


la pbt anual Y, UA EIA 7 OM 725 (5788 [5705 1574: 


Fuente: Bernal y Penña (2011) con adaptación propia. 


Al realizar las coincidencias o emparejamientos, la observación 
de tratamiento con probabilidad de participación 0.40 por vecino 
más cercano se hace coincidente o empareja con el de control con 
probabilidad 0.42, y su contribución al ATT es 69-71 = -2. El trata- 
miento con probabilidad 0.48 se empareja con el control 0.52 y la 
contribución es 74-69 = 5. Ya habíamos descrito el emparejamiento 
del tratamiento 0.54 y su contribución al ATT es 73-70 = 3. El 
tratamiento con probabilidad 0.65 se empareja con el control 0.62 
y la contribución es 74-70 = 4. Los tratamientos con probabilidad 
0.75, 0.76 y 0.77 se emparejan con el control 0.77 y las contribu- 
ciones son: 77-74 = 3, 70-74 = -4 y 80-74 = 6 respectivamente. 
En este caso el ATT es el promedio simple de las contribuciones 
individuales: (-2+5+3+4+3-4+6)/7 = 2.1429). Si en cambio, se usa 
el algoritmo de tres vecinos más cercanos, el grupo de control de 


la pbt del grupo de tratamiento con probabilidad de participación 


203 


EVALUACIÓN DE IMPACTO SOCIAL EN PROYECTOS DE INNOVACIÓN VÍA STATA | TOMO I 


204 


de 0.54 serían las observaciones con probabilidad de participación 
0.52, 0.55 y 0.59. El promedio de la variable de resultado para estas 
tres observaciones es 70.33. La contribución de este individuo al 
ATT, es: 73-70.33 : 2.67; el ATT es, de nuevo, el promedio simple 
de la contribución de cada observación del grupo de tratamiento. 

También se puede usar la concidencia o emparejamiento de 
distancia máxima, tomando todas las observaciones cuya distancia 
no exceda una diferencia en probabilidades de participación de 
0.03. Así, el grupo de control para la observación 0.54 tendría 
dos observaciones (0.52 y 0.55), mientras que la observación de 
0.65 del grupo de tratamiento no tendría grupo de control. Para 
la coincidencia o emparejamiento por estratificación, suponga 
que la manera óptima de partir los grupos es en dos estratos, y 
que el punto de corte es 0.6. En este caso, el impacto en el primer 
estrato, con probabilidades de participación por debajo de 0.6, es 
el promedio de la variable resultado entre los tratamientos, menos 
el promedio en el grupo de control: 72-70.5 = 1.5. En el segundo 
estrato, con probabilidades de participación por encima de 0.6, el 
impacto del programa es 75.25 - 74 = 1.25. El ATT es el promedio 
del efecto sobre cada estrato ponderado por la proporción de 
tratados en el soporte común. En este ejemplo los pesos serían 3/7 
para el primer estrato y 4/7 para el segundo. Es decir, el ATT sería 
(1.5 x 3/7 ) + (1.25 x 4/7 ) = 1.3571. La estimación por estratifi- 
cación es menos sensible a la especificación de la probabilidad de 
participación dado que estamos volviendo discreta la distribución 
de los pesos asignados a cada observación. En vez de darle a cada 
observación un peso igual al inverso de la probabilidad de parti- 
cipación, le asigna el mismo peso a todas las observaciones en un 
mismo estrato. Otra ventaja de este algoritmo es que, dado que 
se comparan observaciones dentro del mismo estrato, no se hace 
extrapolación en los resultados. es decir, no usan los parámetros 
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estimados de una población y se los aplica a otra muy diferente 
para estimar los impactos. 

4. Núcleo y coincidencia local (Kernel and local matching). Hasta 
ahora hemos usado información de un subconjunto de sujetos del 
grupo de control para construir el resultado contrafactual de un 
individuo tratado. Los PSM por kernel y regresión local lineal 
(RLL. Regresion Local Linear) son estimadores no paramétricos 
que hacen coincidente o emparejan a cada sujeto del grupo de trata- 
miento con un promedio ponderado de (potencialmente) todos los 
individuos del grupo de control. El kernel es un procedimiento esta- 
dístico que se basa exclusivamente en los datos, sin hacer supuestos 
paramétricos a priori sobre los modelos económicos. La función 
de kernel pondera los datos del grupo de control, dando más peso 
a las observaciones con probabilidades de participación cercanas, 
y menos a aquellas con probabilidades lejanas. En la práctica las 
funciones kernel son continuas por partes (piecewise continuous), 
acotadas, simétricas alrededor de cero, cóncavas en cero y, por 
conveniencia, generalmente se integran a uno. Es necesario deter- 
minar la vecindad a cada lado de la probabilidad de participación 
del individuo i que se quiere utilizar para determinar los individuos 
que se comparan con i. Esta elección es crítica en los métodos de 
estimación no paramétrica. En principio, con estos estimadores se 
puede comparar a cada individuo de tratamiento con todos los indi- 
viduos de control, y darles menos peso en la comparación a aquellos 
controles con probabilidades de participación más lejanas. Tomar 
una vecindad más amplia implica un mayor número de observa- 
ciones y, por tanto, estimadores que pueden ser más eficientes. 
Sin embargo, estaremos comparando al individuo de tratamiento 
con controles que no son muy parecidos a él, de tal manera que el 
sesgo se incrementa. En la elección de la vecindad hay una tensión 
entre sesgo potencial del estimador del efecto del programa y su 
varianza. Si la vecindad es pequeña, se reduce el sesgo porque los 
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individuos son todos más parecidos, pero se aumenta la varianza 
porque hay pocas observaciones. En la coincidencia o empareja- 
miento por kernel se compara al individuo tratado i con su respec- 
tivo grupo de control, apropiadamente ponderados por una función 
de qué tan lejos se encuentra cada individuo de control de i con 
respecto a la probabilidad de participación. Dependiendo de la 
función de kernel que se elija, se estará comparando a cada indi- 
viduo del grupo de tratamiento con todos los individuos del grupos 
de control, como es el caso del kernel gaussiano o el uniforme, 
o con un subconjunto de grupo de control, como en el caso de 
los kernels triangular o el Epanechnikov. El emparejamiento por 
kernel se puede interpretar como una regresión de la variable obje- 
tivo del grupo de control en el vecindario de cada observación del 
grupo de tratamiento sobre un intercepto, usando los pesos del 
kernel (Smith y Todd, 2005). El RLL es esta misma regresión 
sobre un intercepto, pero se le adiciona un término de pendiente, 
que es la probabilidad de participación (de allí el nombre de lineal, 
porque se asume que la variable de resultado cambia linealmente 
con la probabilidad de participación). En ambos casos el intercepto 
estimado es la contribución de la observación del individuo del 
grupo de tratamiento al ATT. Como se mencionó anteriormente, el 
kernel Gaussiano utiliza todos los individuos del grupo de control 
para construir la contribución de cada individuo del grupo de trata- 
miento al ATT. En este caso, el ancho de banda determina el peso 
relativo de las observaciones lejanas vs. cercanas. Los kernels 
triangular y Epanechnikov solo utilizan algunas observaciones (las 
más cercanas) del grupo de control. En este caso, el ancho de banda 
desempeña un doble papel. No solo determina el peso relativo de 
las observaciones lejanas vs. cercanas, sino que además determina 
la vecindad a cada lado de la probabilidad de participación que se 
quiere utilizar para incluir las observaciones del grupo de control 
en la estimación del contrafactual. Los pesos usados para calcular 
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el contrafactual construidos con base en un kernel dependen del 
tipo de kernel elegido. Por ejemplo, en el kernel uniforme, se les 
da el mismo peso a todas las observaciones en el grupo de control 
elegido. Otros kernels usados con frecuencia asignan pesos inver- 
samente proporcionales a la distancia entre la probabilidad de parti- 
cipación P(X) de cada individuo del grupo de control y la proba- 
bilidad de participación del individuo tratado para el cual se está 
estimando el contrafactual. Una ventaja importante de los estima- 
dores de kernel y RLL es que tienen menor varianza (por ejemplo, 
que PSM por vecino más cercano,) porque usan más información 
RLL, al incluir el término lineal de la probabilidad de participa- 
ción, aventaja al emparejamiento por kernel cuando los controles 
están distribuidos de manera asimétrica alrededor del tratamiento 
(por ejemplo, en los extremos de la distribución de P(X)). No existe 
un método para determinar el ancho de banda pero en general éste 
debe ser menor cuanto mayor sea la muestra. Un riesgo con los 
métodos que hemos descrito, es que solo un pequeño subconjunto 
de no participantes finalmente satisfará los criterios para caer 
dentro del soporte común y así construir el resultado contrafactual. 
Los estimadores de coincidencia no paramétricos, como la coinci- 
dencia de kernel (kernel matching) y los métodos lineales locales 
(LLM. Lineal Local Matching), utilizan un promedio ponderado 
de todos los no participantes para construir la coincidencia contra- 
factual para cada participante. Si P, es la propensión de puntaje 
propensión para el participante i y P, es la propensión de puntaje 
para el no participante j, y si se sigue la notación en la ecuación 
4.4, se infiere que las ponderaciones para la coincidencia de núcleo 


(kernel matching), sea: 


lt ioe = 
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Donde: 

K (+) esla función de núcleo (kernel) y a, es el parámetro de ancho 
de banda. LLM en contraste, estima una regresión no paramétrica 
ponderada localmente (lowess) del grupo de comparación, resul- 
tado en la vecindad de cada observación de tratamiento (Heckman 
et al., 1997). La coincidencia de núcleo (kernel matching) es 
análoga, a la regresión en un término constante, mientras que LLM 
utiliza un término constante y un término de pendiente, por lo que 
es lineal. LLM puede incluir una tasa más rápida de convergencia 
cerca de los puntos de frontera (Fan 1992, 1993). El estimador 
LLM tiene la misma forma que el estimador de coincidencia de 
núcleo (kernel matching), excepto por la función de ponderación: 


Coincidencia de diferencia en diferencia. (DD.Difference-in- 
Difference Matching). Con datos sobre las observaciones de control 
y participantes, antes y después de la intervención del programa, 
una diferencia en la diferencia (DD. Difference-in-Difference) se 
construye como estimador de coincidencia. La DD, se discute en 
mayor detalle en el capítulo 5; importante, pero de lo más impor- 
tante a destacar, es que permite que características no observadas 
afecten la adopción del programa, suponiendo que estos rasgos no 
observados no varían con el tiempo. Para presentar al estimador 
DD, tenemos que volver a la configuración de la sección trans- 
versal del estimador PSM de la ecuación 4.4. Suponga datos de 
panel de dos períodos t = {1,2}, el estimador de DD lineal local 
(local linear DD estimador) para la diferencia de medias en los 
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resultados Y, entre los participantes i y los no participantes j con 
soporte común, se tiene: 


rol we ==, Y y7 yr) T oi. y N IN 


Con solo las secciones transversales en el tiempo, o en lugar de 
datos de panel (Todd, 2007) donde TOT”” 


PSM? 


TOT EE. AP Dr ds ra 2" Y oti. 


jes (4.8) 


se reescribe: 


Donde: 

Y y Yo, , t = {1,2}, son los resultados de las observaciones de 
diferentes participantes y no participantes en cada periodo t El 
enfoque DD combina la el enfoque tradicional de PSM y DD 
que se analizan en el próximo capítulo. Las características de lo 
observado así como también, de lo no observado que afectan la 
participación, pueden explicarse si suponemos que los factores no 
observados que afectan la participación, son constantes a lo largo 
del tiempo. Tomando la diferencia en los resultados a lo largo del 
tiempo, también debería diferenciar las características no obser- 
vadas del tiempo invariante y, por lo tanto, el sesgo de selección 
potencial no observada. De nuevo, el capítulo 5 trata este tema 
en detalle. También, se puede usar un estimador ajustado por 
regresión (descrito con más detalle en este capítulo y en el capí- 
tulo 5). Este método, supone el uso de un modelo lineal estándar 
para resultados para estimar el TOT (como Y, = a + PT, + yX,+ £) 
aplicando pesos sobre la base de la propensión de puntaje al grupo 
de comparación coincidente. También puede permitir que el inves- 
tigador controle la selección de características no observadas, 
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suponiendo nuevamente que estas características no varían con 
el tiempo. Por lo tanto, se pueden usar varios pasos para unir a 
los participantes con los no participantes. Una de las ventajas 
del método de coincidencia o emparejamiento, es que se puede 
aplicar a un único levantamiento de información, siempre y cuando 
existan observaciones de tratamientos y controles. Sin embargo, si 
hay información longitudinal, o cortes transversales repetidos, se 
pueden combinar los métodos de emparejamiento con el de diferen- 
cias-en-diferencias, de tal manera que se relajan los supuestos de 
cada uno de estos métodos, y, por tanto, los resultados se vuelven 
más robustos. En adelante, supondremos que contamos con infor- 
mación longitudinal, para facilitar la exposición. Recuerde que 
el PSM asume que la selección en el programa, se basa única y 
exclusivamente en características observables de los individuos. 
Al contar con información longitudinal y combinar PSM con dife- 
rencias-en-diferencias, la selección en el programa puede también 
depender de variables no observables, siempre y cuando éstas 
permanezcan constantes en el tiempo. 


¿Qué algoritmo de emparejamiento elegir? 


En muestras grandes, asintóticamente todos los algoritmos de coinci- 
dencia o emparejamiento, deben generar los mismos resultados, puesto 
que tienden a comparar sólo parejas idénticas. En muestras pequeñas, 
sin embargo, la selección de algoritmo puede afectar los resultados esti- 
mados, pues con frecuencia existe una tensión entre dos objetivos desea- 
bles: tener un estimador insesgado y minimizar la varianza. La selección 
del estimador depende de las características de cada caso, pues ningún 
algoritmo es siempre mejor que los demás. Es mejor, entonces, ser prag- 
máticos e intentar diversos algoritmos. Si los resultados son muy simi- 
lares, entonces la selección del algoritmo es poco importante. Pero si 
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los resultados difieren, es necesario determinar qué genera la disparidad, 
antes de elegir un algoritmo (Bryson et al., 2002). 

Todos los métodos de emparejamiento descritos anteriormente 
se pueden entender como una asignación de pesos para promediar las 
observaciones de los individuos de control, de tal manera que el grupo 
de control sea idéntico al grupo de tratamiento. Estos mismos pesos se 
utilizan para calcular la calidad del emparejamiento, como se describe en 
la siguiente sección (Bernal y Peña, 2011). 


Cálculo del promedio de impacto 
en el grupo de tratamiento 


Como se discutió anteriormente, si la independencia condicional (condi- 
tional independence) y una superposición considerable (seizable overlap) 
en la propensión de puntaje, entre participantes y no participantes 
coincidentes, puede ser supuesta, entonces el promedio del efecto por 
tratamiento PSM es igual a la diferencia de la media (mean difference) 
de los resultados sobre el soporte común, ponderando las unidades de 
comparación por la distribución del la propensión de puntaje de los parti- 
cipantes. Para comprender el potencial de los mecanismos observados 
que conducen el efecto estimado del programa, es posible examinar el 
impacto del tratamiento, en diferentes características observables, como 
la posición en la distribución muestral de ingresos, edad, etc. 


Calidad de la coincidencia o emparejamiento 


Como el emparejamiento no se hace condicional en todas las varia- 
bles observadas sino únicamente en la probabilidad de participación, es 
necesario determinar si la coincidencia o emparejamiento, balancea la 
distribución de las variables relevantes entre los grupos de tratamiento 
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y control. Para que PSM funcione, condicional en la probabilidad de 
participación, los grupos de tratamiento y control deben ser similares o 
estar balanceados. Esto implica que tanto la probabilidad de participación 
promedio como las medias de las variables contenidas en el vector X sean 
idénticas entre los grupos de tratamiento y control. Así, se quiere deter- 
minar si después de condicionar por la probabilidad de participación aún 
existen diferencias en las características observables entre los grupos de 
tratamiento y control. Note que este análisis se realiza usando únicamente 
información de las variables de control, y no las de resultado, y por tanto 
hacen parte de la etapa de diseño. Sin embargo, se presentan después de la 
elección del método de emparejamiento pues para realizar los ejercicios 
que permitirán determinar la calidad del emparejamiento necesitamos los 
pesos (weigths) para ponderar las variables del grupo de control; estos 
pesos dependen del método de coincidencia o emparejamiento. 

¿Cómo evaluar si las coincidencias o emparejamiento fueron 
correctas? Intuitivamente, después de controlar por el efecto de la 
probabilidad de participación, condicionar en las variables observables no 
generar nueva información acerca del tratamiento se pueden calcular esta- 
dísticos t en las muestras de tratamiento y control para determinar si hay 
diferencias significativas en el promedio de las variables de control entre 
los grupos de tratamiento y control. Las variables del grupo de control 
deben estar apropiadamente ponderadas por los pesos, que dependen del 
método de emparejamiento. Es de esperar que haya diferencias antes del 
emparejamiento, pero después de éste la distribución de variables obser- 
vables debe estar balanceada entre los dos grupos y no debe haber diferen- 
cias estadísticamente significativas. Otra manera de determinar la calidad 
del emparejamiento consiste en usar la idea de estratificación: se divide 
el espacio de las probabilidades estimadas de los grupos de tratamiento y 
control en estratos o rangos de probabilidad de participación. Los estratos 
se eligen de tal manera que esté balanceada la probabilidad de participa- 
ción entre ellos, es decir, que sea igual el promedio de la probabilidad 
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de participación estimada de los grupos ae tratamiento y control. Poste- 
riormente, se usan estadísticos t dentro de cada estrato para determinar si 
los primeros dos momentos de la distribución de las variables en X son 
idénticos entre grupos. Si la muestra está balanceada, se prosigue con el 
cálculo del impacto del programa, descrito en la sección de selección del 
algoritmo de emparejamiento. De lo contrario, es necesario reestimar la 
probabilidad de participación incluyendo términos que añadan flexibi- 
lidad, como términos cuadráticos o cúbicos, interacciones o diferentes 
variables en la estimación de la probabilidad de participación, hasta que 
estas diferencias desaparezcan (Bernal y Peña, 2011). 


Estimación de los errores estándar con PSM. 
Uso de Bootstrap 


Una vez calculado el ATT, es necesario calcular los errores estándar y 
con ellos los intervalos de confianza de las estimaciones, para determinar 
si el impacto del programa es estadísticamente significativo. Una de las 
desventajas del PSM es que calcular los errores estándar no es fácil, pues 
deben incorporar la varianza debida a la estimación de la probabilidad 
de participación. Si el emparejamiento se hizo sin reemplazo, también 
se debe incluir la varianza asociada a este método de emparejamiento. 
Los errores estándar, en este caso de los estimadores de PSM, se pueden 
calcular de dos maneras. Por un lado, se pueden calcular analíticamente, 
es decir, encontrando una expresión explícita de la varianza. Por ejemplo, 
al usar el método de vecino más cercano, es posible calcular los errores 
de manera analítica (Bernal y Peña, 2011). 

En comparación con los métodos de regresión tradicionales, la 
varianza estimada del efecto del tratamiento en PSM, debe incluir la 
varianza atribuible a la derivación de la propensión de puntaje, la deter- 
minación del soporte común y (si hace la coincidencia sin reemplazo) el 
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orden en que se hacen coincidentes los individuos tratados (Caliendo y 
Kopeinig, 2008). No tener en cuenta esta variación adicional, más allá de 
la variación normal de muestreo, provocará que los errores estándar se 
estimen incorrectamente (Heckman et al., 1998). 

Sin embargo, cuando las fórmulas para la varianza son tan compli- 
cadas que no se conoce la distribución asintótica del estimador, ni se tiene 
una fórmula para el cálculo de errores estándar, los errores se pueden 
calcular usando bootstrapping. Éste es el caso, por ejemplo, del PSM por 
kernel. El bootstrapping consiste en estimar propiedades de un estimador, 
por ejemplo, su varianza, midiendo dichas propiedades en la distribución 
empírica de los datos. Cuando se puede asumir que las observaciones 
vienen de una población independiente e idénticamente distribuida, el 
bootstrapping se puede implementar construyendo una serie de muestras 
(con reemplazo) proveniente de la base de datos original. El cálculo de los 
errores estándar por ambos métodos debe generar resultados similares. 
La técnica del bootstrapping (Efron et al., 2003), se extraen muestras 
repetidas de la muestra original y los estimados de las propiedades (tales 
como el error estándar y sesgo) se vuelven a calcular con cada muestra. 
Cada estimación (bootstrap) de muestra, incluye los primeros pasos de la 
estimación que derivan la propensión del puntaje, el soporte común, etc. 
La justificación formal para los estimadores (bootstrap), son limitados; 
sin embargo, debido a que los estimadores son asintóticamente lineales, 
el bootstrapping probablemente conducirá a errores estándar válidos e 
intervalos de confianza (Imbens, 2004). Abadie e Imbens (2008) mues- 
tran que el bootstrapping no funciona para los estimadores de n vecinos 
cercanos, ya que en este caso no genera bandas de confianza asintóti- 
camente válidas. Por tanto, para el estimador de n vecinos cercanos se 
sugiere calcular los errores estándar de manera analítica. 
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PSM y los métodos de regresión 


Dado que las coincidenacias o emparejamiento resultante, produce esti- 
maciones consistentes bajo condiciones débiles, una ventaja práctica de 
PSM sobre los mínimos cuadrados ordinarios (OLS. Ordinary Least 
Squares) es que reduce el número de dimensiones en las cuales hacer 
coincidentes (emparejar) a las unidades de participaciuón y de compa- 
ración. Sin embargo, las estimaciones consistentes de OLS del ATE se 
pueden calcular bajo el supuesto de condicional de exogeneidad (condi- 
tional exogeinity). Un enfoque sugerido por Hirano et al. (2003) es 
estimar una regresión ponderada de mínimos cuadrados de resultado en 
el tratamiento T y otras covariables observadas X no afectadas por la 
participación, utilizando el inverso de una estimación no paramétrica de 
la propensión de puntaje. Este enfoque lleva a una estimador eficiente, y 
el efecto del tratamiento se estima mediante: 


Y,-a+BT, + YX, + E; 


Con pesos de 1 para los participantes y pesos de P'(X) / (1 - P(X)) 
para el control observaciones T, es el indicador de tratamiento, y los 
intentos de especificación anteriores, para tener en cuenta las diferencias 
latentes entre las unidades de tratamiento y comparación que afectan la 
selección en el programa, así como los resultados. Para una estimación de 
ATE para la población, los pesos serían 1 / P(X) para los participantes y 
1 / (1 - P(X)) para las unidades de control. 
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La combinación de la coincidencia con otros métodos 


Aunque la técnica de coincidencia o pareamiento, requiere un volumen 
importante de datos y tiene un riesgo significativo de sesgo, ha sido 
utilizada para evaluar programas de desarrollo en una amplia gama de 
contextos (Gertler, et al., 2017). Los usos más convincentes de la coin- 
cidencia o pareamiento son aquellos que lo combinan con otros métodos 
y aquellos que utilizan el método de control sintético. En esta sección, 
se analizarán las diferencias en diferenciascoincidentes o pareadas y el 
método de control sintético. 


Diferencias en diferencias pareadas 

Cuando dispone de datos de línea de base sobre los resultados, el parea- 
miento se puede combinar con diferencias en diferencias para reducir el 
riesgo de sesgo en la estimación. Como se ha analizado, el simple parea- 
miento con propensión de puntajes, no puede dar cuenta de caracterís- 
ticas no observables que podrían explicar por qué un grupo decide inscri- 
birse en un programa, y eso también podría afectar los resultados. La 
coincidencia o pareamiento combinado con diferencias en diferencias, 
al menos tiene en cuenta cualquier característica no observable que sea 
constante a lo largo del tiempo entre ambos grupos. Se implementa en 5 
pasos, de la siguiente manera: 


1. El pareamiento debe realizarse a partir de características observa- 
bles de la línea de base (como se ha señalado). 

2. Para cada unidad inscrita, se debe calcular el cambio en los resul- 
tados entre los períodos antes y después (primera diferencia). 

3. Para cada unidad inscrita, calcúlese el cambio en los resultados 
entre los periodos antes y después para la comparación pareada de 
esta unidad (segunda diferencia). 
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4. Réstese la segunda diferencia de la primera diferencia, es decir, 
aplíquese el método de diferencias en diferencias. 
5. Por último, calcúlese un promedio de esas dobles diferencias. 


El método de control sintético 

El método de control sintético permite utilizar la estimación del impacto 
en contextos donde una única unidad (como un país, una empresa o un 
hospital) es objeto de una intervención o se expone a un evento. En lugar 
de comparar esta unidad tratada con un grupo de unidades no tratadas, el 
método usa información sobre las características de la unidad tratada y 
las unidades no tratadas para construir una unidad de comparación “sinté- 
tica” o artificial, ponderando cada unidad no tratada de tal manera que la 
unidad de comparación sintética se asemeje lo más posible a la unidad 
tratada. Esto requiere una extensa serie de observaciones de las caracte- 
rísticas de la unidad tratada y de las unidades no tratadas a lo largo del 
tiempo. Esta combinación de unidades de comparación en una unidad 
sintética proporciona una mejor comparación para la unidad tratada que 
cualquier unidad no tratada individualmente. 


Crítica al PSM: ventajas y desventajas 


Aunque los procedimientos de coinidencia o pareamiento se pueden 
aplicar en numerosos contextos, independientemente de las reglas de 
asignación de un programa. Así, las principales ventajas de PSM, son 
(Khandker et al., 2017): 


+ Se basa en el grado en que las características observadas, impulsan 


la participación en el programa. Si el sesgo de selección de las 
características no observadas es con toda probabilidad insig- 
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nificante, entonces PSM puede ser una técnica adecuada para la 
comparación con estimaciones aleatorias. 

En la medida en que las variables de participación se encuentren 
incompletas, los resultados PSM pueden ser sospechosos. Esta 
condición, como se mencionó anteriormente, no es comprobable 
directamente con criterios; requiere de un examen cuidadoso de 
los factores que impulsan la participación en el programa (por 
ejemplo, a través de encuestas). 

No requiere necesariamente una línea de base o encuesta de panel, 
aunque en la sección transversal resultante, las covariables obser- 
vadas que ingresan al modelo logit para la propensión de puntaje, 
tendrían que satisfacer el supuesto de la independencia condicional 
reflejando las características observadas X que no son afectadas 
por la participación. Una línea base previa al programa, es más útil 
a este respecto, ya que cubre la observación de variables X que son 
independientes del estado del tratamiento. 

Como se discutió anteriormente, los datos sobre los participantes y 
los no participantes a lo largo del tiempo, también pueden ayudar 
a contabilizar para algunos no observados con sesgo de selección, 
combinando enfoques tradicionales de PSM con supuestos DD 
(detallado en el capítulo 5). 

PSM también es un método semiparamétrico, que impone menos 
restricciones en la forma funcional del modelo de tratamiento, así 
como menos suposiciones sobre la distribución del término de 
error. Aunque las observaciones se descartan para lograr el soporte 
común, PSM aumenta la probabilidad de comparaciones razona- 
bles entre las unidades en tratamiento y de control, disminuyendo 
potencialmente el sesgo en el impacto del programa. Este resul- 
tado es cierto sin embargo, solo si el soporte común es robusto 
en cuanto a datos suficientes sobre los no participantes ya que es 
esencial para garantizar una muestra lo suficientemente grande, de 
la cual extraer coincidencias. 
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e El sesgo puede también resultar de la eliminación de observaciones 
no participantes que son sistemáticamente diferentes de los rete- 
nidos; este problema también se puede aliviar mediante la reco- 
pilación de datos en de una gran muestra de no participantes, con 
suficiente variación para permitir una muestra representativa. De 
lo contrario, examinar las características de la muestra no partici- 
pante eliminada puede refinar la interpretación del efecto del trata- 
miento. 


Por otro lado, se considera que tienen varias limitaciones o desven- 
tajas importantes (Gertler, et al. 2017): 


e En primer lugar, requieren conjuntos de datos amplios sobre 
grandes muestras de unidades, e incluso cuando estos están dispo- 
nibles, puede que se produzca una falta de rango común entre el 
grupo de tratamiento, o inscrito, y el conjunto de no participantes. 

e En segundo lugar, solo se puede aplicar el pareamiento basán- 
dose en características observables; por definición, no se pueden 
incorporar las características no observables en el cálculo de la 
propensión de puntaje. Por lo tanto, para que el procedimiento de 
pareamiento identifique un grupo de comparación válido, no deben 
existir diferencias sistemáticas en las características no observa- 
bles entre las unidades de tratamiento y las unidades de compa- 
ración pareadas que podrían influir en el resultado (Y). Dado que 
no se puede demostrar que existen esas características no observa- 
bles que influyen en la participación y en los resultados, se debe 
suponer que no existen. Normalmente se trata de un supuesto de 
mucho peso. A pesar de que el pareamiento contribuye a controlar 
por características básicas observables, nunca se puede descartar el 
sesgo que nace de las características no observables. 

e En resumen, el supuesto de que no se ha producido un sesgo de 
selección debido a las características no observables es de mucho 
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peso y, lo que es más problemático, no puede comprobarse. El parea- 
miento por sí solo suele ser menos robusto que los otros métodos 
de evaluación analizados, dado que requiere el fuerte supuesto de 
que no hay características no observables que influyan simultá- 
neamente en la participación en el programa y en sus resultados. 
Por otro lado, la asignación aleatoria, la variable instrumental y 
el diseño de regresión discontinua no requieren el supuesto inde- 
mostrable de que no hay tales variables no observables. Tampoco 
requieren muestras tan grandes o características básicas tan amplias 
como el pareamiento por puntajes de propensión. 


En la práctica, los métodos de pareamiento suelen usarse cuando no 
es posible recurrir a las opciones de asignación aleatoria, variable instru- 
mental y diseño de regresión discontinua. El denominado pareamiento 
ex post es muy riesgoso cuando no hay datos de línea de base disponi- 
bles sobre el resultado de interés o de las características básicas. Si una 
evaluación utiliza datos de encuestas que fueron recopilados después del 
comienzo del programa (es decir, ex post) para deducir las características 
básicas de las unidades de la línea de base y posteriormente, emparejar 
el grupo tratado con un grupode comparación empleando esas caracterís- 
ticas deducidas, puede emparejar involuntariamente basándose en carac- 
terísticas que también fueron afectadas por el programa; en ese caso, el 
resultado de estimación sería inválido o estaría sesgado. 

Por el contrario, cuando se dispone de datos de línea de base, el 
pareamiento basado en las características básicas puede ser muy útil si 
se combina con otras técnicas, como el método de diferencias en diferen- 
cias, lo que permite corregir por las diferencias entre los grupos que son 
fijas a lo largo del tiempo. El pareamiento también es más fiable cuando 
se conocen las reglas de asignación del programa y las variables funda- 
mentales, en cuyo caso el pareamiento se puede llevar a cabo con esas 
variables. 
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A estas alturas, es probable que quede claro que las evaluaciones 
de impacto se diseñan mejor antes de que un programa comience a ser 
implementado. Una vez que el programa ha comenzado, si hay que influir 
en cómo se asigna y no se han recopilado datos de línea de base, habrá 
pocas o ninguna opción rigurosa para la evaluación de impacto. 


Pruebas de falsificación 


El supuesto de independencia condicional, permite la identificacion de los 
impactos de interés en el Inétodo de pareo. Lo que este supuesto implica 
es que la seleccion depende finicamente de variables observables. Por 
tanto, para eliminar el sesgo de seleccién es suficiente controlar por el 
conjunto de variables observables relevantes. 

El supuesto de independencia condicional, sin embargo, no tiene 
implicaciones que se puedan comprobar directamente en los datos y, por 
tanto, no es posible determinar de manera directa si se cumple o no. Sin 
embargo, es posible realizar algunos ejercicios para evaluar si la estra- 
tegia de identificación tiene validez, comúnmente llamados pruebas de 
falsificación. 

Imbens y Rubin (2010) sugieren dos tipos de pruebas de fal- 


sificacion: 


1. Estimar el efecto del programa sobre una variable de resultado 
ficticia, de la cual tenemos la seguridad de que no puede ser afec- 
tada por el tratamiento (pseudoresultado). Consiste en estimar el 
efecto causal de la variable de tratamiento sobre una variable que 
claramente no puede haber sido afectada por éste, o pseudoresul- 
tado. Típicamente, se eligen las variables de resultado rezagadas, 
medidas en uno o más periodos de tiempo anteriores a la interven- 
cion. La seleccion de cuál variable es adecuada para hacer la prueba 
de falsificacion es especifica al contexto. Por ejemplo, si nos inte- 
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resa el efecto de un programa de una capacitación en el periodo t 
sobre los ingresos futuros Y,,, , una prueba de falsificación podria 
ser estimar el efecto del entrenamiento sobre los ingresos de los 
individuos dos años antes de entrar al programa Y, ,, controlando 
por todo el historial anterior de ingresos que tengamos disponible 
(Y,,, Yp etc.). Note que una vez se controla por este historial de 
ingresos pasados, la intervención en t no debería tener efectos sobre 
Y, , Si no se controla apropiadamente por el historial de ingresos, 
es posible que si se encuentre un efecto de la intervencién sobre 
los ingresos rezagados Y, , simplemente porque estaría capturando 
trayectorias de ingresos sistemáticamente diferentes entre indi- 
viduos participantes e individuos no participantes que, a su vez, 
determinaron que unos participaran en el programa y otros no. Por 
otra parte, si se encuentra que la intervencion no tiene efectos sobre 
Y , controlando por el historial de ingresos, es plausible que se 
cumpla el supuesto de selección en observables. Si la intervención 
si afecta Y,,, entonces esto sería evidencia que sugiere que no se 
cumple el supuesto de selección por características observables y, 
por tanto, el método de coincidencia o emparejamiento no sería 
adecuado para estimar el impacto del programa de entrenamiento. 
Note que al igual que la evaluación de la calidad del empareja- 
miento, esta prueba de falsificación se realiza usando únicamente 
información de las variables de control y no las de resultado. Si la 
prueba de falsificación falla, la coincidencia o emparejamiento no 
es un buen método para calcular el impacto, pues la selección segu- 
ramente no se da solo en características observables. Sin embargo, 
esta prueba desafortunadamente no genera sugerencias acerca 
de qué métodos serían más adecuados. Seguramente se tendrían 
que usar métodos que controlen por el sesgo de selección, debido 
a variables observables y también a variables no observables o 
no disponibles en los datos, tales como variables instrumentales, 
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regresión discontinua o los demás descritos en los capítulos poste- 
riores. 

2. Estimar el efecto causal de una intervencion ficticia que se sabe 
no debería tener efectos sobre nuestra variable de resultado (pseu- 
dotratamiento). La segunda prueba de falsificación, tiene que ver 
con estimar el efecto causal de una intervención ficticia, que se 
sabe que no tiene efectos, o pseudotratamiento. Para esto necesi- 
tariamos, por ejemplo, tener información de múltiples grupos de 
control. Como ejemplo, para estimar los efectos de un programa de 
capacitación en innovación para una ciudad en particular, podemos 
tener dos grupos de control: 

a. El primero está compuesto por individuos elegibles (vivían en la 
ciudad) pero decidieron no tomar el entrenamiento (control a). 

b. El segundo está compuesto por aquellos que vivían justo por 
fuera del límite de la ciudad, y por tanto no eran elegibles para 
beneficiarse del tratamiento, pero que en otras dirnensiones eran 


comparables a los beneficiarios (control b). 


En este caso estimaríamos el impacto del pseudotratamiento perte- 
necer al grupo de control a con respecto al grupo de comparación 
pertenecer al grupo de control b sobre los ingresos en el periodo 
posterior al entrenamiento. Sabemos que este pseudotratamiento 
no debe tener impacto alguno. Si los cálculos sugieren que el 
pseudotratamiento no tiene efectos, es plausible que se cumpla el 
supuesto de selección en observables. Sino, el método de coinci- 
dencia o emparejamiento no es adecuado para estimar el impacto 
del programa. 


Estas pruebas de falsificación deberían ser parte de la etapa de diseño. 
Este análisis, debe realizarse incluso antes de calcular los impactos del 
programa. Si los análisis sugieren que la estrategia de identificación no 
es creíble, esto implica que el aplicar la metodología propuesta, no tiene 
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sentido pues no estaremos identificando el impacto deseado. Las pruebas, 
sin embargo, no sugieren qué camino tomar; solo hacen explícito que el 
método elegido no es apropiado para estudiar los impactos, ya que no 
se cumplen los supuestos de identificación. Las pruebas de falsificación 
se pueden realizar no solo en el contexto de coincidencia o empareja- 
miento, sino también, para los métodos discutidos en varios de los capí- 
tulos posteriores. 


Ejemplo utilizando STATA 


La idea básica detrás de la propensión de coincidencia de puntaje (PSM. 
Propensity Score Matching) es hacer coincidente o emparejar a cada 
participante con un no participante idéntico y posteriormente, medir la 
diferencia promedio en la variable de resultado de interés, entre los parti- 
cipantes y los no participantes. Este ejercicio ilustra cómo implementar 
PSM en el programa STATA. 

El comando que lo ejecuta en STATA es pscore.ado, desarrollado 
por Becker e Ichino (2002a). El comando pscore, estima el puntaje de 
propensión, que es la probabilidad de obtener un tratamiento para cada 
sujeto (en nuestro caso, pbt) y probar la propiedad de equilibrio, es decir, 
las observaciones con la misma propensión de puntaje, deben tener la 
misma distribución de características observables independientes, del 
estado del tratamiento. Después de hacer el equilibrio, es posible usar 
diferentes comandos para llevar a cabo diferentes tipos de correspon- 
dencia y posteriormente, derivar el efecto promedio del tratamiento. 
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Ecuación PSM en la satisfacción de la propiedad 
de balance 


Se proponen realizar, los siguientes pasos para su resolución: 


El primer paso en PSM, es determinar la propensión de puntaje y 
la propiedad de equilibrio. Se realiza utilizando el comando pscore 
en STATA. 

Utilice los datos del periodo 08 de pei_08.dta. Comience con la 
variable de participación masculina del programa dmmfd como la 
variable de tratamiento. 

Se utiliza el comando pscore.do de Becker e Ischino (2002b). Se 
destaca que si dicho comando no se encuentra disponible, deberá 
teclear: 


search pscore 
Seleccionar la actualización de dicho comando en la versión de 


la cual disponga, en nuestro caso STATA 14.1, como se ve en la 
imagen: 


ee a fio ALA pl US T 


ittim Ling Sto] ¿er dia. coral 


1) penaga Foe cita ral ee STE Lite Piriti 


HER A ere cee eer jdi 


EIL] shea, Eskimaijies aF la peered J Esiimatios oF beer 
Pei eed Pe ae Tes pee Le LR ee Gy 
fortare hasrdebencha, Instat; Citas Rational ¢ Iravitate of Gtatorcice 
Bae, Talca Serca Arira: rta. Eb Seka fei ifeke at 


El siguiente comando muestra la aplicación del comando pscore: 


. use “/Users/DCA/Desktop/STATA log files/pei_08.dta” 
. gen Insmefac=In(1+smefac/100) 
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. pscore dmmfd genceo ageceo educeo Insmefac bdbaccess pcirr 
rawl raw2 raw3 rawo raw6 [pw=weight], pscore (ps98) blockid 
(blockf1) comsup level (0.001) 


Los resultados incluyen los de la regresión probit, la estimación y 
la descripción de la propensión de puntajes, el número de bloques 
y estratificación usando propensión de puntajes, y las prueba 
de propiedad de equilibrio. El área de soporte común, la consti- 
tuyen los puntajes de propensión dentro del rango de los valores 
estimados más bajos y más altos para las pbt en el grupo de 
tratamiento. 

El siguiente resultado, muestra que la región identificada de soporte 
común es [.00180123, .50022341], el número final de bloques es 4 
y la propiedad de equilibrio no está satisfecho. 

El elemento más importante a buscar en la salida, es la lista de 
variables, que hace que, la propiedad de equilibrio no se satisfaga. 
La salida muestra la variable raw5 no está equilibrada en el bloque 
2. La solución a este problema es usar un conjunto diferente de 
covariables y vuelva a ejecutar el comando pscore. Ver Tabla 4.5. 
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Tabla 4.5. PSM para prueba 1 de balanceo 


IO ORO ORIO ROO O OOOO OOOO k 
Algorithm to estimate the propensity score 
PORO OOOO OOOO iofoto Ok 


The treatment is dmmfd 


innovation 
male 
microcredit 
participant 


1=Y, O=N Freq. Percent Cum. 
o 909 80.51 80.51 
1 220 19.49 100.00 

Total 1,129 100.00 


Estimation of the propensity score 


(sum of wgt is  1.1260e+03) 

Iteration 0: log pseudolikelihood = -424.61883 
Iteration 1: log pseudolikelihood = -390.85321 
Iteration 2: log pseudolikelihood = -389.10243 
Iteration 3: log pseudolikelihood = -389.05511 
Iteration 4: log pseudolikelihood = -389.05501 


Probit regression Number of obs = 1129 
Wald chi2(11) = 64.36 
Prob > chi2 = 0.0000 
Log pseudolikelihood = -389.05501 Pseudo R2 = 0.0838 
Robust 
dmmfd Coef. Std. Err. z P>|z| [95% Conf. Interval 
genceo .915108 .2432905 3.76 0.000 .4382675 1.391949 
ageceo -.0036952 .0046186 -0.80 0.424 -.0127475 .005357 
educeo .0161662 .0170125 0.95 0.342 -.0171777 .04951 
1nsmefac -.3341691 .1113146 -3.00 0.003 -.5523417 -.1159965 
bdbaccess -.0752904 .1770457 -0.43 0.671 -.4222935 .2717128 
pcirr .2088394 . 1753383 1.19 0.234 -.1348174 5524961 
rawl .145771 .0384417 3.79 0.000 .0704268 .2211153 
raw2 .0465751 .0648087 0.72 0.472 -.0804475 .1735977 
raw3 -.0017358 .023861 -0.07 0.942 -.0485026 .045031 
raw5 -.7687454 .2311995 -3.33 0.001 -1.221888 -.3156028 
raw6 -.0249797 .0135856 -1.84 0.066 -.051607 .0016476 
_cons -1.188481 .8358266 -1.42 0.155 -2.826671 .4497088 


Note: the common support option has been selected 
The region of common support is [.00180123, .50022341] 


Description of the estimated propensity score 
in region of common support 
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Estimated propensity score 


Percentiles Smallest 

1% -0055359 -0018012 

5% .0170022 .0020871 
10% . 8346036 - 0026732 Obs 1,127 
25% - 869733 . 8028227 Sum of Wgt. 1,127 
50% .1206795 Mean .1339801 
Largest Std. Dev. .0850809 

75% .1811405 . 4698302 
90% . 2527064 .472444 Variance .0072388 
95% .2965199 .4735467 Skewness .8931364 
99% .3903834 .5002234 Kurtosis 3.942122 


SECC RRR CARR kk 
Step 1: Identification of the optimal number of blocks 
Use option detail if you want more detailed output 

SEARO ACOA OCCA AOA AIK 


The final number of blocks is 4 


This number of blocks ensures that the mean propensity score 
is not different for treated and controls in each blocks 


AO ook ok ak ai a oi a a oe ak ok oka a keke a a a a aa ocak ook 
Step 2: Test of balancing property of the propensity score 
Use option detail if you want more detailed output 

Se Goo oH ak kak ak ak akak kaka ake 


Variable raw5 is not balanced in block 2 
The balancing property is not satisfied 


Try a different specification of the propensity score 


innovation male 


Inferior microcredit 

of block participant: 1=Y, 0=N 
of pscore 0 1 Total 
0 429 
.1 479 
a2 210 
.4 9 
Total 907 220 1,127 


Note: the common support option has been selected 


HRA AK dd dd dd dd E dd dd kkk kkk kk 
End of the algorithm to estimate the pscore 
RI AE EEE A dd RK KK k k kkk 


Fuente: STATA con datos propios. 
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Después de algunas iteraciones, se encontrará que con omitir raw5 
y Insmefac permitirá que el comando pscore se vuelva a ejecutar, 
con la propiedad de equilibrio satisfecha. 

Antes de volver a ejecutar el comando pscore, también deben reti- 
rarse las variables ps98 y blockf1, que fueron creadas como última 
ejecución del programa, dado que la participación de CEOs feme- 
ninas es de mayor interés. Asi, se deberá cambiar a dfmfd así como 
teclear: 


gen Insmefac=In(1+smefac/100) 

pscore dfmfd genceo ageceo educeo Insmefac bdbaccess pcirr 
rawl raw2 raw3 raw5 raw6 [pw=weight], pscore (ps98) blockid 
(blockf1) comsup level (0.001). Ver Tabla 4.6. 


Tabla 4.6. PSM para prueba 1 de balanceo 


DS 
Algorithm to estimate the propensity score 
ES 


The treatment is dfmfd 


innovation 


female 
microcredit 
participant 
: 1=Y, 0=N Freq. Percent Cum. 
o 534 47.30 47.30 
1 595 52.70 100.00 
Total 1,129 100.00 


Estimation of the propensity score 


(sum of wgt is 1.1260e+03) 


Iteration 0: log pseudolikelihood = -750.38718 

Iteration 1 log pseudolikelihood = -682.82636 

Iteration 2 log pseudolikelihood = -680.63459 

Iteration 3: log pseudolikelihood = -680.62452 

Iteration 4 log pseudolikelihood = -680.62452 

Probit regression Number of obs = 1129 
Wald chi2(11) = 85.21 
Prob > chi2 = 0,0000 

Log pseudolikelihood = -680.62452 Pseudo R2 = 0.0930 
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dfmfd Coef. 
genceo -.037986 
ageceo 0013931 
educeo -.0465567 
insmefac -.6662184 
bdbaccess -.1173796 
pcirr -4304416 
rawl -0571981 
raw2 -. 0055393 
raw3 .015395 
raw5 -.1114687 
raw6 -0235048 
_cons -1.483823 


Robust 
Std. Err. 


.1662857 
. 0037305 
-0151559 
-101586 

-13358 
-154365 
-0307982 
-056959 
-0184184 
-1647319 

-01239 
«7367316 


Note: the common support option has been selected 


The region of common support is [.02576077, .71555996] 


Description of the estimated propensity score 


in region of common support 


Estimated propensity score 


Percentiles 


1% .0515941 
5% .1326484 
10% ,.1918711 
25% .3237772 
50% .4419659 
75% .5230785 
90% .6033309 
95% 6323751 
99% ,+6918163 


ISSO AE COE AC RRC jajjaja dj AC CR OE COI kkk CoC a a a aC 
Step 1: Identification of the optimal number of blocks 


Smallest 
- 0257608 
- 8301603 

034091 
. 8343378 


Largest 
» 7051936 
.70725 
.71107 
-71556 


TOMO I 
P>[z] [95% Conf. Interval] 
6.819 -.3639 .287928 
0,709 -.0059185 .0087047 
0.002 -.0762618 -.0168516 
0.000 -.8653232 -.4671136 
0.330 -.3791916 .1444323 
0.005 .1278917 .7329915 
0.063 -.0031652 .1175615 
0.923 -.1171769 -1060982 
0.403 -.0207044 -0514944 
0.499 -.4343373 -2113999 
0.058 -.000779 -0477887 
0.044 -2.927791 -.0398558 
Obs 1,124 
Sum of Wgt. 1,124 
Mean .4174089 
Std. Dev. .1488984 
Variance .0221707 
Skewness -.501193 
Kurtosis 2.723861 


Use option detail if you want more detailed output 


SRS HSS SS oo oso SSRIS aH a i a a ai ak a ea 


The final number of blocks is 4 


This number of blocks ensures that the mean propensity score 
is not different for treated and controls in each blocks 
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DRI RAC RAC OK OE CA OR A AC I I AAC ACA OR CAC OK 2 AC dle od OI CC OK A AC ACO OR CAC OK 
Step 2: Test of balancing property of the propensity score 
Use option detail if you want more detailed output 

Add OC A OR IC AC ld dd dd I A dd dd dede EO I CK OK K k 


The balancing property is satisfied 
This table shows the inferior bound, the number of treated 


and the number of controls for each block 


innovation female 


Inferior microcredit 

of block participant: 1=Y, 0=N 
of pscore (o) 1 Total 
.0257608 122 
.2 326 
.4 555 
.6 121 
Total 529 595 1,124 


Note: the common support option has been selected 


Ad ld A AC IC ACK I AK AC OA OR AC A A I AC ACK AK ACK fold ole 
End of the algorithm to estimate the pscore 
DR AK A AC AK KA OK CR A AR ACK kk kk 


Fuente: STATA con datos propios. 


Con la propensión de puntajes generados, los resultados de interés 
(tales como, el gasto total por pbt) tales como la coinidencia o empare- 
jamiento entre el grupo de tratamiento y el grupo de control combinado, 
ahora son verificados, para ver si los programas de microcrédito, afectan 
al resultado de interés. Las siguientes secciones, estiman el efecto del 
tratamiento de la participación en el programa de microcrédito, utilizando 
diferentes técnicas de correspondencia que están disponibles. 
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Efecto de tratamiento promedio usando vecino 


mas cercano (nearest-neighbor) 
El comando para estimar el efecto de tratamiento promedio en en los 


TOMO I 


tratados, usando la coincidencia o emparejamiento por vecino más 


cercano (NN. Nearest-Neighbor) es attnd. A continuación se muestra un 


ejemplo de su aplicación, para estimar el efecto del tratamiento promedio 


de la participación de CEOs femeninas de las pbt en el pei por micro- 


crédito,considerando el gasto total per cápita de las pbt y utilizando la 


correspondencia del vecino más cercano, por lo que se deberá realizar. 
Ver Tabla 4.7. 
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gen lexptot=In(1+exptot) 


attnd lexptot dfmfd [pweight=weight], pscore(ps98) comsup 


(nearest-neighbor) 


gen lezptotola(l+exptot) 


, ttad Lexptot dftd (pwedighteweight|, pscore(ps98) consup 


Tabla 4.7 Comandos y resultados del ATT por vecino más cecano 


The progran is searching the nearest nelghbor of eech treated unit. 


This operation may take a while. 


ATT mitinotion with Hearest Neighbor Hatching method 
{randon draw version) 
Analytical standard errors 


e Treat he CONTE, arr Sad, Orr. ' 


sss 293 0,136 042 3,256 


Nate: the numbers of treated and cantrala refer to actual 
nearest neighbour matches 


Fuente: STATA con datos propios. 
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Al usar el comando attnd con o sin pesos, no afecta los resultados. 
Solo para lo propósitos de este ejercicio, attnd se muestra con la estima- 
ción de los pesos. Como muestra el siguiente resultado, la participación 
de las CEOs femeninas de las pbt en el pei con microcrédito, tiene como 
significado de que no puede afectar el gasto per cápita de los pbt con la 
técnica del vecino más cercano (t = 3.256). El tratamiento promedio de 
los tratados (ATT) del gasto percápita de las pbt para la participación de 
CEOs femeninas en el programa es del 13.6 %. 


Efecto de tratamiento promedio usando estratificación 
de coincidencia (stratification matching) 

El comando att, es el que calcula el efecto de tratamiento promedio en los 
tratados, usando estratificación de coincidencia (stratification matching), 
sobre las CEOs femeninas de las pbt que participan en el pei por micro- 
créditos, por lo que: 


e Para calcularlo sobre los gastos per capita de las pbt, se teclea lo 
siguiente: 
atts lexptot dfmfd, pscore(ps98) blockid(blockf1) comsup 


e Elresultado muestra, 9.9% de incremento de gastos per capita pbt, 
debido a la participación de las CEO femeninas de las pbt en el pei 
por microcréditos. El impacto es significante en el nivel del 5% 
(t=3.320). Ver Tabla 4.8. 
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Tabla 4.8. Comandos y resultados del ATT 
por estratificación de coincidencia (stratification matching) 


. atts lexptot dfmfd, pscore(ps98) blockid(blockf1) comsup 


ATT estimation with the Stratification method 
Analytical standard errors 


n. treat. n. contr. ATT Std. Err. t 


595 529 0.099 0.030 3.320 


Fuente: STATA con datos propios. 


Efecto de tratamiento promedio usando calibración por 
coincidencia (radius matching) 

El comando attr, es el que calcula el efecto de tratamiento promedio 
en los tratados, usando calibración por coincidencia (radius matching), 
sobre las CEOs femeninas de las pbt que participan en el pei por micro- 
créditos, por lo que: 


e Para calcularlo sobre los gastos per capita de las pbt, se teclea lo 
siguiente: 


attr lexptot dfmfd, pscore(ps98) radius(0.001) comsup 


e El resultado muestra, un incremento en el impacto (14.6%) con 
alta significancia (t=3.793) de CEOs femeninas de las pbt que 
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participan en el pei sobre el gasto per capita de las pbt. Ver Tabla 
4.9. 


Tabla 4.9. Comandos y resultados del ATT 
por calibración por coincidencia (radius matching) 


attr Lexptet dfafd, pscoreips92! radius(0,001) comsup 


The progres is searching for matches of treated units within radius, 
This operation may take a while. 


ATT extination with the Radius Matching method 
Analytical standard arrore 


Ne treet. Ms contr. ATT Sto. Err, t 
473 386 0,146 0,039 3,793 


Note: the numbers of treated and controls refer to actual 
matches within radius 


+ 


Fuente: STATA con datos propios. 


Efecto de tratamiento promedio usando núcleo 

y coincidencia local (kernel matching) 

El comando attk, es el que calcula el efecto de tratamiento promedio en 
los tratados, usando núcleo y coincidencia local (kernel matching), sobre 
las CEOs femeninas de las pbt que participan en el pei por microcréditos, 
por lo que: 


e Se consideran reps que actúa con el uso de bootstrapping en 50 
veces. 
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e Para calcularlo sobre los gastos per capita de las pbt, se teclea lo 
siguiente: 


attk lexptot dfmfd, pscore(ps98) comsup bootstrap reps(50) 


e Los resultados se consideran consistentes con los hallazgos encon- 
trados hasta ahora. La participación de las CEOs femeninas de 
las pbt que participan en el pei con microcréditos incrementan su 
participación por gasto per capita de la pbt con una significancia 
del 4% al 5%. Ver Tabla 4.10 


Tabla 4.10. Comandos y resultados del ATT 
por núcleo y coincidencia local (kernel matching) 


. attk lexptot dfmfd, pscore(ps98) comsup bootstrap reps(50) 


The program is searching for matches of each treated unit. 
This operation may take a while. 


ATT estimation with the Kernel Matching method 


n. treat. n. contr. ATT Std. Err. t 


595 529 0.107 


Note: Analytical standard errors cannot be computed. Use 
the bootstrap option to get bootstrapped standard errors. 


Bootstrapping of standard errors 


command: attk lexptot dfmfd , pscore(ps98) comsup bwidth(.06) 
statistic: attk = r(attk) 
Command 


Fuente: STATA con datos propios. 
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Efecto de tratamiento promedio y su chequeo de robustez 


Hay varias formas de verificar la robustez de los resultados: 


Un enfoque, es estimar la ecuación de puntaje de propensión y 
luego usar los diferentes métodos de coincidencia previamente 
discutidos para comparar los resultados. Los hallazgos con dife- 
rentes técnicas de emparejamiento son bastante consistentes 

Otra forma de verificar la robustez, es aplicar la coincidencia 
directa del vecino más cercano (NN) en lugar de estimar primero 
la ecuación de propensión de puntaje. STATA tiene un comando 
nnmatch para hacer eso. Si ambos métodos dan resultados simi- 
lares, entonces se supone, que son más confiables. Observe que si 
nnmatch ni se encuentra como comando disponible, con teclear 
search nnmatch, tendrá opción de actualizarlo, como se muestra: 


sema lama ade ross rs ener iria rre acre temi eee eed rl re, be imbii mjii 


e 


parara Ei | 


Scares eS 


POPLAR LT IYA RUA FF 


Ieplorantirg matchisg- daetiewiors for eeerege rosternë 


effects la tata 


by Jure Leber Heer, UC Bere ley 


Darid H: Drukhar, TFtatalarp 
Guido W. Tatess, Wo Berke ley 
Alberto Abello, Parsárd Giverny 


Suporti- berrilgyaioc. cam, dodrukkergetata.com 
after installation, Troe helo ara ah 


TASTALLATION FILES [click hare sa daeee Lh 


STRAT hse AO 
othe l! nemetch, hip 


ESE LAAY FELA (olich bere Te päti 


abr hemetik, de 


P ET le ll e il il 


El siguiente comando STATA estimará el efecto promedio del trata- 
miento en el resultado de interés, utilizando la coincidencia directa 
del vecino más cercano (NN) con una coincidencia (match=1) por 
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tratamiento, la opción m específica el número de coincidencias 
(matches) más cercanas a las observaciones tratadas. 

. nnmatch lexptot dfmfd genceo ageceo educeo Insmefac bdbac- 
cess pcirr raw1 raw2 raw3 raw5 raw6, tc (att) m(1) 


e Los resultados de nueva cuenta son consistentes con los hallazgos 
previos. Un 13.6% de impacto positivo de participación de las 
CEOs femeninas de las pbt en el pei por microcrédito sobre los 
gastos per capita de la pbt, los cuales se aprecian con un 5% de 
nivel de significancia. Ver Tabla 4.11. 


Tabla 4.11. Comandos y resultados del ATT para checar su robustez 
» Peeatch Lexpiet edd poro agaciro died leseetor betkeecect piire raed roe rast rad ra, te att] mjii 
Patching estimador: deers Treateeet Elect dur the Trewtes 
Weigbiisg ariji; Gewerse veerleece Weber of ota E LPS 


Mester of sairiea lal © L 


Tesptat A Err- 4 Paja] [isi Conf, Teterval| 


piui JEME E Dek A BELGE HIH 


Metckirg wuriebles: gerip pperer cheo lranedor bercess prlrr roM] euZ red) ees row 


Bi M i æ aaa A 
se irand 


Fuente: STATA con datos propios. 


Para mayor información sobre el contenido de los archivos ado 
componentes de las rutinas expuestas, consulte: 


Becker ,S.O.e Ichino (A). (2002a). Stata programs for ATT estimation 
based on propensity score matching, en: http://sobecker.userweb. 
mwn.de/pscore.html 

Becker, S. e Ichino, A. (2002b). Estimation of Average Treatment 
Effects Based on Propensity Scores. Stata Journal 2 (4): 358-77. 
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CAPÍTULO 5. 
Doble Diferencia 
(DD. Double Difference) 


Los dos métodos discutidos en los capítulos anteriores: evaluación alea- 
toria y PSM se concentran en varios estimadores de diferencia única 
que a menudo requieren solo una apropiada encuesta transversal. Este 
capítulo, analizará la técnica de estimación de doble diferencia que 
generalmente utiliza el panel datos. Tenga en cuenta, sin embargo, que 
DD puede usarse también, en datos de sección transversal repetidos, 
siempre que la composición del participante y los grupos de control, sean 
claramente estables en el tiempo (Khandker et al., 2017). De hecho, 
asignación aleatoria, variables instrumentales (IV) y diseño de regre- 
sión discontinua (DRD) (estos dos a analizar más adelante), estiman el 
contrafactual mediante reglas explícitas de asignación del programa que 
el equipo de evaluación conoce y entiende. Dichos métodos ofrecen 
estimaciones creíbles del contrafactual haciendo relativamente pocas 
suposiciones e imponiendo pocas condiciones. Los dos próximos tipos 
de métodos, doble diferencia (DD) y coincidencia o pareamiento (PSM), 
ofrecen al equipo de evaluación, herramientas adicionales que pueden 
aplicarse cuando las reglas de asignación del programa son menos claras 
o cuando no es factible ninguno de los tres métodos antes descritos. En 
casos como este, se suele utilizar tanto el método de DD como el de PSM. 
Sin embargo, ambos también requieren supuestos más fuertes que la asig- 
nación aleatoria, o los métodos de IV o DRD. Se entiende que si no se 
conoce la regla de asignación del programa, hay una incógnita más en la 
evaluación, acerca de la cual se deben formular supuestos. Dado que los 
supuestos no son necesariamente verdaderos, puede que el método DD o 
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el PSM no siempre proporcionen estimaciones fiables de los impactos de 
los programas (Gertler et al., 2017). 

Siguiendo a Peña y Benal (2011), el modelo de DD, es comúnmente 
utilizado para estimar el efecto del programa tanto en experimentos alea- 
torios, cuando existen varios levantamientos de información, como en 
experimentos naturales, se describe a continuación. Esta metodología es 
común en el análisis de cuasi experimentos, debido a que es posible que, 
aun en presencia del evento fortuito que genera una asignación del trata- 
miento que parece aleatoria, se observen diferencias preexistentes entre 
el grupo de tratamiento y el grupo de control. Por tanto, es necesaria 
una metodología que corrija por esa diferencia preexistente entre los dos 
grupos. 

Por otra parte, si el evento fortuito determina solamente de manera 
parcial el tratamiento, entonces el método de evaluación no puede ser el 
mismo que se aplica a los experimentos aleatorios controlados. La razón 
es que el tratamiento será parcialmente endógeno (el sesgo de selección 
está presente en cierta medida) y, por ende, la comparación de medias entre 
el grupo de tratamiento y el grupo de control no es válida. En este caso, 
se utilizan las metodologías que se discuten en los capítulos que siguen, 
y que también se aplican en los estudios no experimentales Típicamente, 
en experimentos naturales la aleatorización que origina el evento fortuito 
no es perfecta, como podría serlo en un experimento aleatorio controlado. 
Por ende, es muy probable que existan diferencias sistemáticas entre el 
grupo de tratamiento y el grupo de control, aun antes de la aplicación 
del tratamiento. Por tal razón, es importante tener en cuenta estas dife- 
rencias preexistentes a la hora de estimar el efecto del programa sobre la 
variable de resultado. La razón es que la diferencia entre el grupo de trata- 
miento y el grupo de control en el período posterior al tratamiento estaría 
asociada tanto al tratamiento en sí como a diferencias que ya estaban 
presentes antes de la implementación del programa. El modelo de DD es 
una manera de controlar por estas posibles diferencias preexistentes entre 
los dos grupos. 
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El modelo de DD es simplemente el cambio esperado en Y entre 
el periodo posterior y el periodo anterior a la implementación del trata- 
miento en el grupo de tratamiento, menos la diferencia esperada en Y 
en el grupo de control durante el mismo periodo. Como su definición 
lo indica, el estimador de DD diferencias requiere de la existencia de 
datos panel, es decir, observaciones de los mismos individuos antes y 
después de la implementación del tratamiento (en un experimento alea- 
torio controlado o en un experimento natural). De hecho, en el caso de un 
experimento natural y en ausencia de datos tipo panel, es posible imple- 
mentar el estimador DD utilizando datos de corte transversal repetidos. 
(Bernal y Peña, 2011). En el siguiente cuadro, se decribe la información 


requerida: 
Items Tratamiento Control 
t = 1 (linea de base) Ve | Deal YVO 
t = 2 (seguimiento) yY pal Y, | D=0 


donde t = 1 es el periodo anterior a la implementación del experi- 
mento aleatorio o la ocurrencia del evento fortuito que da origen al expe- 
rimento natural (comúnmente conocido como la línea de base), y t = 2 
es el periodo posterior a la implementación del tratamiento o periodo de 
seguimiento. El subíndice de Y indica el período al que corresponde esa 
observación de la variable de resultado. 

En una configuración de panel, la estimación DD resuelve el 
problema de la falta de datos al medir resultados y covariantes tanto para 
los participantes como para los no participantes en los periodos previos y 
posteriores a la intervención. DD esencialmente, compara el tratamiento 
y los grupos de comparación en términos de cambios en los resultados a 
lo largo del tiempo, en relación con los resultados observados para una 
preintervención de línea de base. Es decir, dada una configuración de 
dos periodos, donde t = 0 antes del programa y t = 1 después de la imple- 
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mentación del programa, dejando Y *, y Y |, como los resultados respec- 
tivos para un programa beneficiario y unidades no tratadas en el tiempo 
t, el método DD estimará el impacto promedio del programa como sigue 
(Khandker, et al., 2017): 


DDE EY PST BO oY" T isis (5.1) 


En la ecuación 5.1, T, =1 denota tratamiento o la presencia del 
programa en t = 1, mientras que T, = 0 denota áreas no tratadas. La 
siguiente sección, vuelve a esta ecuación. A diferencia de PSM, el esti- 
mador DD permite una heterogeneidad no observada (la diferencia no 
observada en los resultados contrafactuales medios, entre las unidades 
tratadas y no tratadas) que pueden conducir a un sesgo de selección. Por 
ejemplo, es posible que se requiera tener en cuenta factores no obser- 
vados por el investigador, como las diferencias en la capacidad o lide- 
razgo innato, a través de sujetos tratados y de control o los efectos de la 
colocación de programas no aleatorios a nivel de formulación de políticas 
de implementación de innovaciones. DD supone que esta heterogeneidad 
no observada es en tiempo invariante, por lo que el sesgo se cancela 
mediante la diferenciación. En otras palabras, el resultado cambia para 
los no participantes revelando los cambios de resultados contrafactuales 
como se muestra en ecuación 5.1. 


Método DD 


El método DD contrasta las diferencias en los resultados a lo largo del 
tiempo entre una población inscrita en un programa (el grupo de trata- 
miento) y una población no inscrita (el grupo de comparación). Suponga 
que se lleva a cabo a nivel de distrito pero que no se puede asignar alea- 
toriamente entre distritos ni se asigna sobre la base de un índice con un 


umbral claramente definido, lo cual permitiría un diseño de regresión 
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discontinua. Las juntas de los distritos pueden decidir inscribirse o no 
inscribirse en el programa. Uno de los objetivos del programa consiste en 
mejorar el acceso de la población a los mercados laborales, y uno de los 
indicadores de resultados es la tasa de empleo. Como se ha visto, el solo 
hecho de observar el cambio antes y después en las tasas de empleo en los 
distritos que se inscriben en el programa no capturará el impacto causal 
del programa porque es probable que muchos otros factores influyan en 
el empleo a lo largo del tiempo. A la vez, comparar los distritos que se 
inscribieron y los que no se inscribieron en el programa de reparación 
de carreteras será problemático si existen motivos no observables por los 
que algunos distritos se inscribieron en el programa y otros no lo hicieron 
(el problema de sesgo de selección en el escenario de inscritos versus no 
inscritos) Gertler et al. (2017). 

El estimador DD, se basa en una comparación de participantes y no 
participantes antes y después de la intervención. Por ejemplo, después de 
una encuesta inicial de línea de base de referencia de ambos, no parti- 
cipante y (posteriores) participantes, se puede realizar una encuesta de 
seguimiento de ambos grupos, después de la intervención. A partir de esta 
información (Khanker et al., 2017): 


e Se calcula la diferencia entre los resultados medios observados 
para los grupos de tratamiento y control antes y después de la 
intervención del programa. 

e Cuando los datos de línea de base de referencia están disponibles, 
es posible estimar los impactos asumiendo que la heterogeneidad 
no observada es invariante en el tiempo y uncorrelacionada con el 
tratamiento sobre el tiempo. 

e Esta suposición es más débil que la exogeneidad condicional 
(descrita en capítulos 2 y 3) y representa los cambios de resul- 
tado para un grupo comparable de no participantes, es decir, 
E (YS - Y,* |T, = 0) como el contrafactual apropiado, es decir, 
igual a E (Y * - Y * |T,=1). 
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La estimación DD, también se puede calcular dentro de un marco 
de regresión; la regresión se puede ponderar para tener en cuenta 
los posibles sesgos en DD En particular, la ecuación de estimación 
se especificaria de la siguiente manera (Khandker et al., 2017): 


Ya pT, DT pe ars (5.2) 


En la ecuación 5.2, el coeficiente B en la interacción entre la 
variable de tratamiento del postprograma (T,) y el tiempo 
(t = 1...T) dan el efecto promedio DD del programa. Por lo tanto, 
usando la notación de la ecuación 5.1, f = DD. Además de este 
término de interacción, las variables T,, y t se incluyen por sepa- 
rado, para recoger cualquier efecto medio separado del tiempo, así 
como el efecto de ser el objetivo frente a no serlo. 

De nuevo, mientras los datos de cuatro grupos diferentes estén 
disponibles para comparar, los datos del panel no son necesarios 
para implementar el enfoque DD (por ejemplo, el subíndice t, 
normalmente asociado con el tiempo, se puede reinterpretar como 
un área geográfica particular, k = 1.. .K). 

Para comprender mejor la intuición detrás de la ecuación 5.2, se 
puede escribir en detalle, en forma de expectativas (suprimiendo el 
subindice i por el momento, Khandker, et al., 2017): 


E(YJ-Y, |T,=1)=(0+DD +p + y) — (a + p)......(5.3a) 
EEE" [T =0)= Gy taras (5.3b) 


Siguiendo la ecuación 5.1, restando 5.3b de 5.3a resulta DD. Tenga 
en cuenta nuevamente que DD es no sesgada, solo si la fuente 
potencial de sesgo de selección es aditiva y en tiempo invariante. 

Usando el mismo enfoque, si un simple impacto pre vs un postesti- 
mación, en la muestra participante se calcula (diseño reflexivo), el 


a. 


b. 


C. 
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calculo del impacto del programa sería DD + y, y el sesgo corres- 
pondiente sería y. 
Tenga en cuenta que cuando las medias contrafácticas son inva- 
riantes en el tiempo (E [Y,* - Y, | T, =1]=0) la estimación 
DD en la ecuación 5.1 se convierte en una comparación reflexiva, 
donde solo los resultados por las unidades de tratamiento son 
monitoreadas. El capítulo 2, también analiza las comparaciones 
reflexivas con más detalle. Este enfoque, sin embargo, es limitado 
en la práctica porque es poco probable que los resultados medios 
para el contrafactual no cambien. 
Como se discutió en capítulo 2, sin un grupo de control, es difícil 
justificar que otros factores no fueran responsables para afectar 
los resultados de los participantes. También se podría intentar 
comparar solo la diferencia del posprograma en los resultados entre 
las unidades de tratamiento y control; sin embargo, en en este caso, 
el impacto estimado de la política sería DD + p, y el sesgo sería p. 
Las diferencias sistemáticas, no medidas que podrían correlacio- 
narse con el tratamiento, no se pueden separar fácilmente. 
Recuerde que para que el estimador DD anterior se interprete 
correctamente, lo debe contener (Khandker, et al., 2017): 

El modelo en la ecuación (resultado) esté correctamente especifi- 

cado. Por ejemplo, que la estructura impuesta sea correcta. 

El término de error esté uncorrelacionado con las otras variables, 

en la ecuación: 


Cove, T,)=0 
Cove ft) =0 


Cove, Tt) = 0. 


Los ultimos de estos supuestos se conocen como supuestos de 
tendencia paralela (parallel-trend assumption) que son los mas 


245 


EVALUACIÓN DE IMPACTO SOCIAL EN PROYECTOS DE INNOVACIÓN VÍA STATA | TOMO I 


críticos. Significa que las características no observadas que 
afectan la participación de un programa, no varían en el tiempo 
en estatus de tratamiento. 


Usos del modelo DD 


El modelo de DD es el que se utiliza siendo de lo más popular y por lo 


general, es para los siguientes casos (Bernal y Peña, 2011): 


1. 
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Para ganar eficiencia en el estimador del efecto del programa. 
Es decir, la eficiencia es un concepto asociado a la varianza del 
estimador. Mayor eficiencia significa menor varianza o disper- 
siñon del estimador con respecto a un estimador de la misma clase 
(por ejemplo, sesgado o lineal) , lo que indica que el efecto del 
programa es estimado con mayor precisión (exactitud). Evidente- 
mente, es una propiedad deseada que el estimador del programa 
sea lo más preciso posible. Si el tratamiento fue aplicado aleatoria- 
mente, entonces el estimador de DD puede ser más eficiente que el 
estimador del modelo de diferencias. Este será el caso si algunos de 
los determinantes no observados de Y son persistentes en el tiempo 
para un determinado sujeto, por ejemplo, el sexo, el nivel de esco- 
laridad previo a la aplicación del tratamiento, la habilidad innata, 
etc, Cuál de los dos estimadores (simple diferencia vs DD) es más 
eficiente depende, de qué fracción de la varianza de Y es explicada 
por estos factores no observados. 

Para eliminar diferencias preexistentes entre el grupo de trata- 
miento y el grupo de control. Si, por alguna razón, el tratamiento 
está correlacionado con el nivel inicial de Y antes de la asigna- 
ción del tratamiento (antes del experimento o el evento fortuito) 
pero E (u, I D. ) = 0, entonces el estimador de diferencias no es 
insesgado pero el estimador de DD si lo es, siempre y cuando se 
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cumpla el supuesto adicional de tendencias paralelas. Como se ha 
mencionado, en un experimento natural o cuasi experimento no es 
improbable que esto ocurra, dado que el evento fortuito genera una 
asignación que parece aleatoria pero que en la mayoría de los casos 
no corresponde a una aleatorización perfecta. 


¿Qué sucede en el modelo DD? 


Se plantea la cuestión: ¿qué pasaría si se combinan los dos métodos y 
se comparan los cambios antes-después en los resultados de un grupo 
que se inscribió en el programa con los cambios antes-después de un 
grupo que no se inscribió en el programa? La diferencia en los resultados 
antes-después para el grupo inscrito, la primera diferencia, controla por 
factores que son constantes a lo largo del tiempo en ese grupo, puesto que 
se está comparando el propio grupo consigo mismo. Sin embargo, todavía 
quedan los factores externos que varían con el tiempo (factores variables 
en el tiempo) en este grupo. Una manera de capturar esos factores que 
varían en el tiempo es medir el cambio antes-después en los resultados 
de un grupo que no se inscribió en el programa pero que estuvo expuesto 
al mismo conjunto de condiciones ambientales (la segunda diferencia). 
Si se limpia la primera diferencia de otros factores variables en el tiempo 
que influyen en el resultado de interés sustrayendo la segunda diferencia, 
se habrá eliminado una fuente de sesgo que resultaba preocupante en las 
comparaciones sencillas antes-después. El enfoque de DD hace lo que 
su nombre sugiere: combina las dos estimaciones falsas del contrafac- 
tual (comparaciones antes-después y comparaciones entre quienes se 
inscriben y quienes deciden no hacerlo) para producir una mejor esti- 
mación del contrafactual. Por ejemplo, de un programa de estimulos a 
la innovación, el método DD podría comparar los cambios en el empleo 
antes y después de que se ponga en marcha el programa, en los individuos 
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que viven en distritos que lo introdujeron con los cambios en el empleo en 
los distritos donde no se implementó el programa (Gertler et al., 2017). 

Es importante señalar que el contrafactual que se estima en este caso 
es el cambio en los resultados del grupo de tratamiento. La estimación 
de este contrafactual es el cambio en los resultados del grupo de compa- 
ración. Los grupos de tratamiento y comparación no tienen necesaria- 
mente que tener las mismas condiciones antes de la intervención. Sin 
embargo, para que el método de DD sea válido, el grupo de compara- 
ción debe mostrar con precisión el cambio en los resultados que habría 
experimentado el grupo de tratamiento en ausencia de tratamiento. Para 
aplicar el método DD, hay que medir los resultados en el grupo que se 
beneficia del programa (el grupo de tratamiento) con los resultados del 
grupo que no se beneficia (el grupo de comparación), tanto antes como 
después del programa. La Gráfica 5.1, se presenta un ejemplo de utiliza- 
ción del método DD para entender el impacto de los incentivos de diseño 
de nuevos productos y servicios, en la implementación hipotética del pei 
en un país y las tasas de deserción de las pbt. 


Gráfica 5.1. Ejemplo método DD 


Resultado- Grupo de 
tasa de comparación 
empleo j: —@ P=031 
C= 0,78 y = a 


B=0,74 
} Impacto estimado =0,11 


Se ; E=0,63 
al . pa 
Tendencia del grupo de 


Grupo de k: 
| tratamiento Comparación 


T T T Tiempo 
Año -2 Año -1 Año 0 Año 1 


Fuente: Gertler (2017) con adaptación propia. 
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El año 0, es el año de linea de base. En el año 1 se inscribe en el pei 
un grupo de distritos de tratamiento, mientras que no lo hace un grupo de 
distritos de comparación. El nivel de los resultados (la tasa de empleo) 
en el grupo de tratamiento va de A, antes del comienzo del programa, a 
B, después del comienzo del programa, mientras que el resultado para el 
grupo de comparación va de C, antes del comienzo del programa, a D, 
después del comienzo del programa. 

Recuerde los dos falsos contrafactuales: la diferencia de los resul- 
tados antes y después de la intervención en el grupo de tratamiento 
(B-A) y la diferencia de los resultados después de la intervención entre 
los grupos de tratamiento y de comparación (B—D). Con DD, la estima- 
ción del contrafactual se obtiene calculando el cambio en los resultados 
del grupo de comparación (D-C) y luego sustrayéndolo del cambio en 
los resultados del grupo de tratamiento (B—A). Utilizar el cambio en los 
resultados del grupo de comparación como la estimación del contrafac- 
tual para el cambio en los resultados del grupo de tratamiento es similar 
a suponer que si el grupo que se inscribió no hubiera participado en el 
programa, sus resultados habrían evolucionado a lo largo del tiempo 
siguiendo la misma tendencia que el grupo que no se inscribió, es decir, 
la evolución en el resultado del grupo inscrito habría ido de A a E, como 
se muestra en la Gráfica 5.1. 

En resumen, el impacto del programa se computa simplemente como 
la diferencia entre dos diferencias: 


Impacto de la DD = (B— A) - (D - C) =(0.74—0.60) — (0.81 —0.78) =0.11. 


Las relaciones que se muestran en la Grafica 5.1 también pueden 
presentarse de forma tabulada como lo muestra la Tabla 5.2 la cual, 
describe los componentes de las estimaciones del método DD. 
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Tabla 5.1. Cálculo del método DD de forma tabular 


Item Después Antes Diferencia 
Letaera B A B-A 
inscritos 
c A 
comparacion, D c D-C 
no inscritos 
Diferencia B-D A-C DD=(B-D)-(D-C) 
Después Antes Diferencia 
OA 0.74 0.60 0.14 
inscritos 
AOTRET 0.81 0.78 0.03 


no inscritos 


Diferencia -0.07 -0.18 DD=0.14-0.03=0.11 


Fuente: Gertler (2017) con adaptación propia. 


La primera línea contiene los resultados del grupo de tratamiento 
antes de la intervención (A) y después de la intervención (B). La compa- 
ración antes-después del grupo de tratamiento es la primera diferencia 
(B-A). La segunda línea contiene los resultados del grupo de compa- 
ración antes de la intervención (C) y después de la intervención (D), de 
modo que la segunda diferencia es (D—C). 

El método DD computa la estimación del impacto de la siguiente 
manera: 


a. Se calcula la diferencia del resultado (Y) entre las situaciones antes 
y después para el grupo de tratamiento (B — A). 

b. Se calcula la diferencia del resultado (Y) entre las situaciones antes 
y después para el grupo de comparación (D — C). 

c. A continuación, se calcula la diferencia entre la diferencia en los 
resultados del grupo de tratamiento (B — A) y la diferencia del 
grupo de comparación (D — C), o DD = (B — A) — (D — C). Estas 
diferencias en diferencias constituyen la estimación del impacto. 
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También se consideran las diferencias en diferencias en la dirección 
contraria: se calcula primero la diferencia en el resultado entre el grupo de 
tratamiento y el de comparación en la situación después; luego se calcula 
la diferencia en el resultado entre el grupo de tratamiento y de compara- 


ción en la situación antes, y finalmente se sustrae este último del primero. 


Impacto DD= (B — D) — (A— C) = (0.74 — 0.81) — (0.60 — 0.78) = 0.11. 


Modelo de panel de efectos fijos (panel fixed-effects) 


El modelo anterior de dos periodos, puede generalizarse con múltiples 
periodos de tiempo, que puede llamarse el modelo de panel de efectos 
fijos. Esta posibilidad, es particularmente importante para un modelo que 
controla no solo la heterogeneidad invariante no observada en el tiempo, 
sino también para la heterogeneidad en las caracteristicas observadas 
durante el transcurso de periodos multiples. Mas especificamente, Y, que 
pueda hacerse regresión en T,, un rango de covariables X,, que varían 
en el tiempo y la heterogeneidad individual no observada invariante en 
el tiempo 4, que puede correlacionarse tanto con el tratamiento y otras 
características no observadas €,. Considere la siguiente revision de la 
ecuación 5.2 (Khandker, et al., 2017): 


AS AN (5.4) 


Haciendo la diferencia, tanto del lado derecho como el izquierdo de 
la ecuación 5.4 sobre tiempo, se obtiene: 


(Y, 7 Y,a) =@ (T, 7 Tya) td X, 7 Xaa) t (n; = n) u (€, 7 Era) s. (5-58) 


= AY, = par, j AX, + Ae, Pororcorccocrconoooss (5.5b) 
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En este caso, dado que la fuente de endogeneidad (es decir, las carac- 
terísticas del sujeto no observado, 4) se elimina en la diferenciación, los 
mínimos cuadrados ordinarios (OLS. Ordinary Least Squares) pueden 
ser aplicados a la ecuación 5.5b para estimar el efecto imparcial del 
programa (Ø). Con dos periodos de tiempo, Ø es equivalente a la estima- 
ción DD en la ecuación 5.2, controlando las mismas covariables X; los 
errores estándar, sin embargo, pueden necesitar corregirse para correla- 
ción serial (Bertrand, et al., 2004). Con más de dos periodos de tiempo, 
la estimación del impacto del programa diferirá de DD. 


Implementado DD 


Para aplicar un enfoque DD utilizando datos de panel, los datos de la línea 
de base, deben recopilarse en el programa y las áreas de control, antes 
de la implementación del programa. Como se describió en el capítulo 2, 
la información tanto cuantitativa así como cualitativa, sobre estas áreas 
será útil para determinar quién es probable que participe. Las encuestas 
de seguimiento, después de la intervención del programa, también debe- 
rían realizarse en las mismas unidades. Aunque algunos estudios a gran 
escala, no son capaces de volver a visitar los mismos sujetos (como las 
pbt) después de un programa de intervención, sí pueden examinar las 
mismas comunidades, regiones, clústers y, por lo tanto, pueden calcular 
los impactos del programa DD a nivel local, comunitario, regional o 
clúster. Las encuestas concurrentes de beneficiarios a niveles locales y/o 
comunitarios, son importantes para mantener esta flexibilidad, ya que 
las encuestas antes y después de una intervención de programa, pueden 
abarcar varios años, lo que hace que la recopilación de datos de panel sea 
más difícil. 

Calcular la diferencia promedio en los resultados por separado, para 
participantes y no participantes, durante los periodos y luego tomar una 
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diferencia adicional, entre los cambios promedio en los resultados para 
estos dos grupos, sera calcular el impacto DD. Un ejemplo se muestra en 
la Grafica 5.2, donde DD = (Y; Y) - (Y,- Y) (Khandker, et al., 2017). 


Gráfica 5.2. Un ejemplo de DD 


Participantes 


Impacto 


novor0a 37 


| = Programa 


Tiempo 


Fuente: Khandker et al. (2017) con adaptación propia. 


La linea mas baja en la Grafica 5.2, también muestra los verdaderos 
resultados contraafactuales, que nunca se observan (ver capitulo 2). Bajo 
el enfoque DD, las caracteristicas no observadas, que crean una brecha 
entre los resultados de control medidos y el verdadero contrafactual, 
suponen que los resultados son invariantes en el tiempo, de modo que la 
brecha entre las dos tendencias es la misma en el periodo. Este supuesto, 
implica que: (Y,- Y,) - (Y,- Y,). Utilizando esta igualdad, en la ecuación 
DD precedente, se consigue: DD = (Y,- Y,). Aunque DD, normalmente 
explota una línea de base y datos de panel resultantes, la sección trans- 
versal repetida de los datos a lo largo del tiempo también se pueden usar. 
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Ventajas y desventajas del uso de la DD 


Una ventaja del uso de la técnica DD, es que relaja la suposición de 
exogeneidad condicional o de selección, solo en las características obser- 
vadas. También, proporciona una forma manejable e intuitiva, de cuenta 
para la selección de características no observadas. El principal inconve- 
niente, sin embargo, descansa precisamente en esta suposición: la noción 
de sesgo de selección invariante en el tiempo parece inverosímil para 
muchos programas específicos en países en desarrollo. Un argumento 
similar, contra el método DD se aplica en el caso de evaluar un programa 
usando datos repetidos de encuestas transversales. En la mayoría de 
los programas a menudo existem enfoque amplios de aplicación como 
la implementación de innovaciones , pro ejemplo, de procesos, para un 
rango amplio de sectores. Dado que tales programas inician con creci- 
mientos muy bajos, se tiende a esperar que respondan dinámicamnte a 
travñes de vaios periodos o años tanto en las formas observadas como 
no observadas; un caso de esto, son los programas de capacitación o 
entrenamiento. De hecho antes de entrar en vigor cualquier programa a 
pesar de estar bien planeada su implementación ocurrirá una baja notable 
a lo esperado en su introducción; este fenómeno se conoce como inmer- 
sión de Ashenfelter (Ashenfelter's Dip). Por lo tanto, el grupo tratado 
podría haber experimentado un más rápido crecimiento por implemen- 
tación de una innovación de procesos, incluso, sin participación. En este 
caso, es probable que un método DD tienda a sobrestimar el efecto de un 
programa. Es decir, si los sujetos se auto-seleccionan en un programa 
de acuerdo a alguna regla desconocida y datos de sección transversal 
repetidos, la suposición de heteroegenidad invariante en el tiempo puede 
fallar, si la composición del grupo cambia y la intervención afecta la 
composición de grupos tratados vs. no tratados. 

La Gráfica 5.3 refleja este sesgo potencial, cuando la diferencia entre 
los resultados no participantes y contrafactuales cambia con el tiempo; 
el tiempo variante, la heterogeneidad no observada podría conducir a 
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un sesgo hacia arriba o hacia abajo. En la práctica, ex ante, la heteroge- 
neidad no observada que varía con el tiempo, podría explicarse con un 
diseño adecuado del programa, lo que incluye garantizar que las áreas de 
proyecto y control compartan características similares del preprograma. 


Gráfica 5.3. Heterogeneidad de tiempo variante no observado 


$ = Impacto DD subestimado 
i 


Paricipantes 


| Impacto DD 


Control 


=>Suposición de etndencia paralela 


nonora 


= Impacto DD sobreestimado 


Fuente: Khandker et al. (2017) con adaptación propia. 


Si las áreas de comparación, no son similares a los posibles parti- 
cipantes en términos de características observadas y no observadas, 
entonces, los cambios en el resultado con el tiempo, pueden ser una 
función de esta diferencia. Este factor también sesgaría el DD. Por 
ejemplo, en el contexto de un programa de inscripción a una capacita- 
ción de innovación, si las áreas de control fueran seleccionados para que 
inicialmente, estuvieran mucho más allá de los centros de capacitación 
locales que las áreas seleccionadas, DD sobreestimaría el impacto del 
programa en las localidades participantes. 

Como se discutió en el capítulo 4, la aplicación de PSM podría 
ayudar a unir las unidades de tratamiento con unidades de control obser- 
vacionalmente similares, antes de estimar el impacto DD. Específica- 
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mente, se ejecutaría PSM en el año base y luego realizaría un DD en las 
unidades que permanecen en en soporte común. Los estudios demuestran 
que ponderando las observaciones de control, de acuerdo con su propen- 
sión de puntaje, produce un estimador completamente eficiente (Hirano 
et al., 2003, ver también el capítulo 4 para una discusión). Dado a que el 
PSM efectivo, depende de una rica línea de base, sin embargo, durante 
la recolección inicial de datos, se debe prestar especial atención a carac- 
terísticas que determinan la participación. Incluso si se pudiera asegurar 
la comparabilidad de las áreas de control y proyecto antes del programa, 
no obstante, el enfoque DD podría fallar si los cambios macroeconómicos 
durante el programa afectan a los dos grupos de manera diferente. 

Suponga que algunas características desconocidas, hacen que los 
grupos tratados y no tratados reaccionen de manera diferente a un 
choque de innovaciones de tecnología disruptivas común. En este caso, 
un DD simple puede sobrestimar o subestimar los verdaderos efectos de 
un programa dependiendo, de cómo los grupos tratados y no tratados 
reaccionan al choque común. Bell et al. (1999) sugieren un DD dife- 
rencial ajustado a la tendencia temporal, para tal caso. Esta alternativa, 
se discutirá más adelante en términos del método de triple diferencia 
(triple-difference method). Otro enfoque podría ser a través de variables 
instrumentales (instrumetal variables), que se discuten en Capítulo 6. Si 
hay suficientes datos disponibles, sobre otros factores exógenos o inde- 
pendientes del comportamiento que afecten a los participantes y no parti- 
cipantes con el tiempo, esos factores pueden ser explotados para identi- 
ficar impactos, cuando no es constante la heterogeneidad no observada. 
Una variable instrumental (instrumental variable) con un enfoque de 
panel de efectos fijos (panel fixed-effects), se podría realizar. El capítulo 
6 proporciona más detalles. 
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Utilidad del método DD 


Para entender la utilidad de este método, debe tomarse nuestro segundo 
contrafactual falso, visto en capítulos anteriores, que comparaba las 
unidades inscritas con las no inscritas en un programa. Recuerde que la 
principal preocupación en este caso era que las dos series de unidades 
pudieran tener características diferentes y que pueden ser dichas caracte- 
rísticas, y no el programa, las que explican la diferencia en los resultados 
entre los dos grupos. 

Las diferencias no observadas en las características eran especial- 
mente preocupantes: por definición, es imposible incluir las caracterís- 
ticas no observables en el análisis. 

El método de DD contribuye a resolver este problema en la medida 
en que se puede razonablemente suponer que muchas características de 
las unidades o personas son constantes a lo largo del tiempo (o invariables 
en el tiempo). Suponga, por ejemplo, características observables, como 
el año de nacimiento del CEO, su educación, el tamaño de equipamientos 
de alta tecnología; el consumo energético de dichos equipos. Es probable 
que la mayoría de estos tipos de variables, aunque posiblemente rela- 
cionadas con los resultados, no cambien en el transcurso de una evalua- 
ción. Con el mismo razonamiento, podría llegarse a la conclusión de que 
muchas características no observables de los individuos también son 
más o menos constantes a lo largo del tiempo. Suponga, por ejemplo, en 
rasgos de liderazgo o el historial de salud crediticia de la pbt. Es posible 
que estas características intrínsecas de las pbt no cambien con el tiempo. 

En lugar de contrastar los resultados entre los grupos de tratamiento 
y comparación después de la intervención, los métodos de DD estu- 
dian las tendencias entre los grupos de tratamiento y comparación. La 
tendencia de un sujeto es la diferencia en los resultados para ese sujeto 
antes y después del programa. Al sustraer la situación de los resultados 
antes de la situación después, se anula el efecto de todas las caracterís- 
ticas que son únicas de ese individuo y que no cambian a lo largo del 
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tiempo. En realidad, se está anulando (o controlando) no solo el efecto 
de características observables invariables en el tiempo, sino también el 
efecto de características no observables invariables en el tiempo, como 
las ya mencionadas (Gertler et al., 2017). 


Tendencias iguales en el método DD 


A pesar de que DD permite tener en cuenta las diferencias entre los grupos 
de tratamiento y comparación que son constantes a lo largo del tiempo, 
no ayudan a eliminar las diferencias entre los grupos de tratamiento y de 
comparación que cambian con el tiempo. En el ejemplo del programa de 
reparación de carreteras, si las zonas de tratamiento también se benefician 
de la construcción de un nuevo puerto marítimo al mismo tiempo que se 
produce la reparación de las carreteras, el efecto de esta última no podrá 
separarse de la construcción del puerto marítimo utilizando un enfoque 
de diferencias en diferencias. Para que el método proporcione una esti- 
mación válida del contrafactual, se debe suponer que no existen ese tipo 
de diferencias que varían en el tiempo entre los grupos de tratamiento y 
comparación. 

Otra manera de pensar en esto es que, en ausencia del programa, las 
diferencias en los resultados entre los grupos de tratamiento y compara- 
ción tendrían que evolucionar de forma paralela. Es decir, sin el trata- 
miento, los resultados tendrían que aumentar o disminuir en la misma 
medida en ambos grupos; los resultados tienen que mostrar tendencias 
iguales en ausencia de tratamiento. 

Desde luego, no hay manera de demostrar que las diferencias entre 
los grupos de tratamiento y comparación habrían evolucionado de manera 
paralela en ausencia del programa. El motivo es que no se puede observar 
qué habría ocurrido con el grupo de tratamiento en ausencia del trata- 
miento, es decir, no se puede observar el contrafactual. 
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Por lo tanto, cuando se emplea el método de DD, se debe suponer 
que, en ausencia del programa, los resultados en el grupo de tratamiento 
habrian evolucionado de forma paralela con los resultados del grupo de 
comparacion. La Grafica 5.4, ilustra un incumplimiento de este supuesto 
fundamental. 


Gráfica 5.4. Método DD cuando las tendencias 


de los resultados son diferentes 


Grupo de 
Resultado- ¡comparación 
tasa de i E 
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C=0,78, a 
piz Ocontrafactual 
O... e” | verdadero e074 
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l 
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I 
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comparación 
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Año -2 Año -1 Año 0 Año 1 


Fuente: Gertler et al. (2017) con adaptación propia. 


Si las tendencias de los resultados, son diferentes para los grupos de 
tratamiento y de comparación, el efecto estimado de tratamiento obtenido 
mediante métodos de diferencias en diferencias sería inválido o estaría 
sesgado. Esto se debe a que la tendencia del grupo de comparación no es 
una estimación válida de la tendencia contrafactual que habría prevalecido 
en el grupo de tratamiento en ausencia del programa. Como se muestra 
en la Gráfica 5.4, si en realidad los resultados del grupo de comparación 
aumentan más lentamente que los resultados del grupo de tratamiento en 
ausencia del programa, utilizar la tendencia del grupo de comparación 
como estimación del contrafactual de la tendencia del grupo de trata- 
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miento conduce a una estimación sesgada del impacto del programa. Más 


concretamente, se estaría sobreestimando el impacto del programa. 


Comprobación del supuesto de igualdad de tendencias 
en el método DD 
A pesar de que no se puede demostrar, la validez del supuesto fundamental 


de igualdad de tendencias, se puede evaluar teniéndose cuatro posibles 


formas de comprobar el supuesto de las tendencias iguales (Gertler et 
al., 2017): 
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Una primera verificación de validez consiste en contrastar los 
cambios en los resultados en los grupos de tratamiento y compa- 
ración en repetidas ocasiones antes de la implementación del 
programa. En el programa de estímulos a la innovación (pei), 
esto significa que se mediría el cambio en la tasa de empleo entre 
los grupos de tratamiento y comparación antes del comienzo del 
programa, es decir, entre el segundo y el primer año, y entre el 
primer año y el año cero. Si se ve que los resultados evolucionaban 
de forma paralela antes del comienzo del programa, es razonable 
suponer que habrían seguido evolucionando de la misma manera 
después de la intervención. Para verificar la igualdad de las tenden- 
cias antes de la intervención, se requieren al menos, dos rondas de 
observaciones, en los grupos de tratamiento y comparación, antes 
del comienzo del programa. Esto significa que la evaluación reque- 
riría tres rondas de observaciones: dos observaciones previas a la 
intervención para valorar las tendencias anteriores al programa, y 
al menos una observación posterior a la intervención para evaluar 
el impacto mediante el método de DD. 

Una segunda manera de comprobar el supuesto de las tendencias 
iguales sería llevar a cabo lo que se denomina prueba de placebo. 
Para esta prueba, se realiza una segunda estimación de DD utili- 
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zando un grupo de tratamiento falso, es decir, un grupo que, según 
lo que el evaluador sabe, no ha sido afectado por el programa. 
Por ejemplo, se quiere estimar cómo el soporte técnico para las 
pbt del séptimo ciclo, influyen en su probabilidad de solicitarlo, y 
entonces se eligen pbt del octavo ciclo como grupo de compara- 
ción. Para comprobar si los pbt de séptimo y octavo ciclo, tienen 
las mismas tendencias en términos requerimiento del soporte 
técnico, podría verificarse que los pbt de octavo y de sexto ciclo 
tengan las mismas tendencias. El evaluador sabe que los pbt de 
sexto ciclo no se verán afectados por el programa, de modo que 
si realiza una estimación de DD utilizando a los pbt de octavo 
ciclo como grupo de comparación y a los de sexto como el grupo 
de tratamiento falso, tiene que obtener un impacto de cero. De lo 
contrario, el impacto que encuentre, se deberá necesariamente a 
alguna diferencia fundamental en las tendencias entre los pbt de 
sexto y octavo ciclo. Esto, a su vez, arroja dudas sobre si es válido 
el supuesto de que los alumnos de séptimo y octavo grado tienen 
tendencias iguales en ausencia del programa. 

Una tercera manera de probar el supuesto de tendencias iguales, 
sería llevar a cabo la prueba de placebo no solo con un grupo 
de tratamiento falso, sino también con un resultado falso. En el 
ejemplo de las clases de apoyo, conviene comprobar la validez 
de utilizar a los pbt de octavo ciclo como grupo de comparación 
estimando el impacto de las clases de apoyo en un resultado que, 
según lo que se sabe, no se ve afectado por dichas clases, como, 
por ejemplo, el número de empleados que los pbt tienen. Si la esti- 
mación de DD encuentra un impacto de las clases de apoyo en el 
número de empleados de las pbt, entonces ya se sabe que el grupo 
de comparación debe tener alguna falla. 

Una cuarta manera de comprobar el supuesto de las tendencias 
iguales consistiría en aplicar el método de DD utilizando dife- 
rentes grupos de comparación. En el ejemplo de las clases de 
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apoyo, primero se llevaría a cabo la estimación con las pbt de 
octavo ciclo como grupo de comparación, y luego se realizaría una 
segunda estimación tomando a los alumnos de sexto ciclo como 
grupo de comparación. Si los dos grupos son válidos, se observará 
que el impacto estimado es aproximadamente el mismo en ambos 
cálculos. 


Modelos DD alternativos 


El enfoque de doble diferencia (DD) descrito, produce estimaciones 
consistentes de los impactos del proyecto si el grupo no observado y la 
heterogeneidad individual son invariantes en el tiempo. Sin embargo, 
se conciben varios casos donde las características no observadas de una 
población, pueden de hecho cambiar con el tiempo, derivado, por ejemplo, 
de cambios en preferencias o normas sobre una serie de tiempo más larga. 
Algunas variantes del método DD, tpor lo tanto, se ha propuesto controlar 
los factores que afectan estos cambios en los casos no observables (Khan- 
dker et al., 2017). 

Un caso en el que la heterogeneidad no observada, puede no perma- 
necer constante en el tiempo, es donde las inversiones públicas dependen 
de las condiciones iniciales (preprograma) del área local. No controlar las 
condiciones iniciales del área, al evaluar el impacto de, por ejemplo, una 
política de est-imulos a la innovación el programa puede conducir a un 
significante sesgo de variable omitida, si las condiciones locales, también 
fueran responsables de la mejora de los resultados de la pbt o la focali- 
zación del programa fue correlacionada con tales características del área. 


262 


CAPITULO 5. DOBLE DIFERENCIA (DOUBLE DIFFERENCE) 


Combinando PSM con DD 


Como se mencionó anteriormente, siempre que existan datos completos 
sobre las áreas de control y tratamiento, el PSM se puede combinar con 
métodos DD para hacer una mejor coincidencia de las unidades de control 
y proyecto sobre las características del preprograma. Específicamente, 
recordando la discusión en el capítulo 4, se observa que la propensión 
del puntaje puede usarse para hacer coincidentes o emparejables a las 
unidades participante y de control en el año base (preprograma), y el 
impacto del tratamiento, se calcula a través de las unidades del parti- 
cipante y de control coincidentes o emparejadas, dentro de la zona de 
soporte común. Para dos períodos t = (1,2), la estimación DD para cada 
área de tratamiento i se calculará como (Khandker et al., 2017): 
DD,=0 -Y4)- AY) 
jec 

Donde : 

ul f, j) es el peso (usando el enfoque PSM) dado al área de control 
j-ésima coincidente o emparejado al área de tratamiento i. Son aplicables 
los diferentes enfoques de coincidencia o emparejamiento discutidos en 
el capítulo 4. 

En términos de un marco de regresión (también discutido en el capí- 
tulo 4), Hirano, et al. (2003) muestran que una regresión ponderada de 
mínimos cuadrados, al ponderar el control de observaciones, de acuerdo 
con su propensión de puntaje=, produce un estimador completamente 
eficiente (Khandker et al., 2017): 


AY, =a+BT,+yA+&,,B=DD...... ce (5.6) 


Los pesos en la regresión de la ecuación 5.6, son igual 1 para las 
unidades tratadas y P' (X) / (1 - P’ (X)) para las unidades de comparación. 


263 


EVALUACIÓN DE IMPACTO SOCIAL EN PROYECTOS DE INNOVACIÓN VÍA STATA | TOMO I 


Método de la triple diferencia 
(triple-difference method) 


¿Qué sucede si los datos de referencia, no están disponibles? Tal podría 
ser el caso durante una crisis económica, por ejemplo, donde un programa 
o red de seguridad tiene que configurarse rápidamente. En este contexto, 
Se puede utilizar un método de triple diferencia. Además de un primer 
experimento que compara a los grupos de proyecto y de control, este 
método explota el uso de un experimento completamente separado, 
después de un programa de intervención (Khandker et al., 2017). Es 
decir, este grupo de control separado, refleja un conjunto de no partici- 
pantes en áreas tratadas y no tratadas que no forman parte del primer 
grupo de control. Estas nuevas unidades de control, pueden ser diferentes 
del primer grupo de control en diversas características por ejemplo, 
tecnológicas, o socioeconómicas, si los evaluadores desean examinar el 
impacto del proyecto en participantes en relación con otro grupo socioe- 
conómico. Otra diferencia, del primer experimento se tomaría del cambio 
en la muestra adicional de control para examinar el impacto del proyecto, 
teniendo en cuenta otros factores que cambian con el tiempo (Gruber, 
1994). Por lo tanto, este método requeriría datos de varios años después 
de la intervención del programa, aún y falten datos de referencia. 


Ajuste de las tendencias de diferencial de tiempo 


Como se mencionó anteriormente, supongamos que se requiere evaluar 
un programa como el de capacitación en diseño e innovación de productos 
y servicios, introducida durante una crisis macroeconómica. Con datos 
disponibles para los grupos de tratamiento y no tratados antes y después 
del programa, se podría usar un enfoque DD para estimar el efecto del 
programa en las ganancias, por ejemplo. Sin embargo, tales eventos son 
probables que creen condiciones donde los grupos tratados y no tratados 


264 


CAPITULO 5. DOBLE DIFERENCIA (DOUBLE DIFFERENCE) 


respondan diferente ante la crisis. Bell et al. (1999) han construido un 
método DD que explica estos efectos diferenciales de tendencia temporal. 
Aparte de los datos en grupos tratados y no tratados antes y después del 
tratamiento, otro intervalo de tiempo es necesario (t - 1 a t) para examinar 
los mismos grupos tratados y no tratados. El ciclo pasado reciente, es 
probablemente el intervalo de tiempo más apropiado para tal compara- 
ción. Más formalmente, el DD ajustado de tendencia temporal se define 
como (Khandker et al., 2017): 


DD=[E(Y-Y | T=1)- E(Y,*-Y/ | T,=0)- 
PA | Te] r 0 leone (5.7) 


Limitaciones del método de DD 


Aun cuando las tendencias sean iguales antes del comienzo de la inter- 
vención, el sesgo en la estimación de diferencias en diferencias puede 
producirse y pasar inadvertido. Esto se debe a que el método DD atribuye 
a la intervención cualquier diferencia de las tendencias entre los grupos de 
tratamiento y de comparación que se producen desde el momento en que 
la intervención comienza. Si hay otros factores presentes que influyen en 
la diferencia en las tendencias entre los dos grupos, y la regresión multi- 
variante no rinde cuenta de ellos, la estimación será inválida o sesgada 
(Gertler et al., 2017). 

Suponga que se intenta estimar el impacto del uso de una innovación 
tecnológica agrícola (un nuevo sistema de riego con monitoreo electró- 
nico) con la subvención de sus componentes (software y hardware) y que 
esto se lleva a cabo midiendo la producción de un cultivo en particular 
de los agricultores subvencionados (tratamiento) y de los agricultores no 
subvencionados (comparación) antes y después de la distribución de las 
subvenciones. Si en el año 1, tiene lugar una sequía que afecta solamente 
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a los agricultores subvencionados, la estimación de DD producirá una 
estimación inválida del impacto de subvencionar la innovación tecno- 
lógica agrícola. En general, cualquier factor que afecte a uno de los dos 
grupos de forma desproporcionada, y lo hace al mismo tiempo en que el 
grupo de tratamiento recibe el tratamiento, sin que esto se tome en cuenta 
en la regresión, puede potencialmente invalidar o sesgar la estimación 
del impacto del programa. El método DD supone que no hay factores de 
este tipo presentes. 


Verificación DD 


El método DD supone que las tendencias de los resultados son similares 
en los grupos de comparación y tratamiento, antes de la intervención y 
que los únicos factores que explican las diferencias en los resultados entre 
ambos grupos, aparte del propio programa, son constantes a lo largo del 
tiempo. Por lo tanto (Gertler et al., 2017): 


1. Cabe preguntarse por lo tanto, los resultados ¿habrían evolucio- 
nado de forma paralela en los grupos de tratamiento y compara- 
ción en ausencia del programa? Esto se puede evaluar utilizando 
diversas pruebas de falsificación, como las siguientes: 

e Los resultados en los grupos de tratamiento y comparación ¿evolu- 
cionaban de modo paralelo antes de la intervención? Si hay dos 
rondas de datos disponibles antes del comienzo del programa, se 
debe probar si existen diferencias en las tendencias que aparecen 
entre ambos grupos. 

e ¿Qué sucede con los resultados falsos que no deberían verse afec- 
tados por el programa? ¿Evolucionan de forma paralela antes y 
después del inicio de la intervención en los grupos de tratamiento 
y comparación? 
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2. Realizar el análisis de DD utilizando varios grupos plausibles 
de comparación. Deberían obtenerse estimaciones similares del 
impacto del programa. 

3. Efectuar el análisis de diferencias en diferencias usando los grupos 
de tratamiento y comparación elegidos, y un resultado falso que 
no debería verse afectado por el programa. Debería encontrarse un 
impacto nulo del programa en ese resultado. 

4. Llevar adelante el análisis de DD utilizando la variable de resul- 
tados elegida con dos grupos que, según lo que se sabe, no se 
vieron afectados por el programa. Debería observarse un impacto 
cero del programa. 


Ejemplo utilizando STATA 


Los métodos de coincidencia o emparejamiento, discutidos en ejercicios 
anteriores, están destinados a reducir el sesgo por elección de los grupos 
de tratamiento y comparación, en función de las características obser- 
vables. Por lo general, son implementados después de que el programa 
ha estado funcionando, durante algún tiempo y se han recopilado datos 
de encuestas. Otra forma poderosa de medir el impacto de un programa, 
es mediante el uso de datos de panel, recopilados de una encuesta de 
referencia antes que el programa programa sea implementado y después 
de que el programa ha estado funcionando por algún tiempo. Estas dos 
encuestas deben ser comparables en las preguntas y métodos de encuesta 
utilizados y deben ser administrados a participantes y no participantes. 
Usar los datos del panel permite la eliminación del sesgo variable no 
observado, siempre que no cambie con el tiempo. Los datos de panel no 
son estrictamente necesarios para la estimación de DD. Cómo puede ser 
esta técnica, aplicado a datos transversales, se muestra más adelante. El 
método de la DD, (también conocido comúnmente como diferencia en 


diferencia) ha sido popular en evaluaciones no experimentales. Como 
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hemos visto, el método DD estima la diferencia en el resultado durante 
el período posterior a la intervención entre un grupo de tratamiento y un 
grupo de comparación, en relación con los resultados observados durante 


una encuesta de referencia previa a la intervención. 


Comparación simple (uso de test) 

La forma más sencilla de calcular el estimador DD, es tomar la diferencia 
manualmente en los resultados entre las encuestas de los grupos de trata- 
miento y control. Los datos del panel, se ubican en el achivo pei_0108. 
dta que se utilizan para este propósito, por lo que los siguientes comandos 
abren el archivo de datos y crearán una nueva variable de resultado a 
nivel del periodo 01 (gasto per cápita de la pbt) para que esté disponible 
en observaciones de ambos años. Luego, solo se mantienen las obser- 
vaciones del período 08, y se crea un registro como gasto per cápita por 
lo que se crea, una diferencia de gasto per cápita pbt entre el periodo 
08 y 01. Por lo tanto, se proponen realizar los siguientes pasos para su 


resolución: 
e  Teclear los comandos (ver Tabla 5.2): 


clear 

use “/Users/DCA/Desktop/STATA log files/pei_0108.dta” 
gen exptot0=exptot if year==0 

egen exptot01=max(exptot0), by(id) 

keep if year== 

gen lexptot01=In(1+exptot01) 

gen lexptot08=In(1+exptot) 

gen lexptot0801=lexptot08-lexptot01 
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Tabla 5.2. Comandos iniciales y estructura de archivo modificada 


para preparación prueba simple comparación 
. Elear 
- Une “/Unmra/OCA/Denktop/STATA Log files/pel_06100.dta”* 


. gon exprtotizerptot if yoars=@ 
(826 missing values ganereted) 


. egen exptotilerox(exptot®), bylid) 


. keep Lf year==1 
(926 observations deleted) 


. Gen Lexptotél-Ln(irexptoter) 
- gen LexptotOfieln(irexcptot) 


+ gen Llexptot0M0lslexprotoA-Lexptatol 


Fuente: STATA con datos propios. 


EELT ca 
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poi prope fia region wilh tier | 
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Fuente: STATA con datos propios. 
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e El comando ttest toma la variable de diferencia de los resultados 
creados como lexptot0801) y lo compara con participantes y no 
participantes de microcréditos. En esencia, crea una segunda dife- 
rencia con lexptot 0801 para aquellos con dfmfd = 1, o sea, CEOs 
femeninas con gasto per cápita pbt que acceden al pei y exclu- 
yendo a los de género masculino con dfmfd == 0. Así, se debe 
teclear (ver Tabla 5.3): 
ttest lexptot0801, by(dfmfd) 


Tabla 5.3. Comandos iniciales tabla de resultados 


prueba simple comparación ttest 


. ttest lexptot0801, by(dfmfd) 


Two-sample t test with equal variances 


Obs Mean Std. Err. Std. Dev. [95% Conf. Interval] 

391 - 1473188 -0269923 -5337372 -0942502 .2003873 

435 .2586952 .024194 .5046057 .2111432 .3062472 

826 .2059734 -018137 .5212616 .1703733 .2415735 

-.1113764 -03614 =. 1823136 -.0404392 

diff = mean(0) - mean(1) t= -3.0818 

Ho: diff = 0 degrees of freedom = 824 
Ha: diff < 0 Ha: diff != 0 Ha: diff > 0 

Pr(T < t) = 0.0011 Pri |T| > |t]) = 0.0021 Pr(T > t) = 6.9989 


Fuente: STATA con datos propios. 


El resultado muestra, que la participación de CEOs femeninas de las 
pbt en el pei con acceso a microcrédito aumenta por consumo capita en 
un 11.1% y que este impacto es significante en al menos de 1 % de nivel. 
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El signo negativo significa que el resultado de los participantes 
(dfmfd =1) es mayor que el de no participantes (dfmfd = 0), lo que 
implica que el impacto de la participación es de hecho positivo. 


Implementación de regresión 

En lugar de tomar manualmente la diferencia de los resultados, se puede 
implementar DD usando una regresión. Sobre la base de la discusión en 
Ravallion (2008), la estimación de DD se puede calcular a partir de la 


regresión: 
Y,=a+ DD. Tt + PT + òt +E, 


Donde: 

T es la variable del grupo de tratamiento 

t es el tiempo de relleno (dummy) y el coeficiente de interacción de 
T y t (DD), que produce la estimación del impacto del tratamiento, en el 
resultado Y. Por lo tanto, se deberá teclear: 


e Los siguientes comandos abren el archivo de datos del panel, crean 
el registro de la variable de resultado, y crear una variable de parti- 
cipación a nivel del periodo 08 disponible para ambos años, es 
decir, aquellos quienes participan en programas de microcrédito en 
el período 08 son el grupo de tratamiento asumido (ver Tabla 5.4). 


use “/Users/DCA/Desktop/STATA log files/pei_0108.dta”, clear 
gen lexptot=In(1+exptot) 

gen dfmfd1=dfmfd==1 & year==1 

egen dfmfd08=max(dfmfd1), by(id) 
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Tabla 5.4. Comandos iniciales y estructura de archivo modificada para 
preparación prueba por regresión 
+ use "/Urers/0CA/beshrog/STATA tog tiles/pel_0109.dta”, clear 
» gan Lesprat=lallsoxprer) 
+ Gen Staldiedfafder] & yeatert 


+ agen Stefdttemaxietmtdt), bylid) 


Name Label | 
i 

id 1D 

year year of observation: 0=0... 


region id region 
cluster id cluster 
ageceo age of ceo: years | 
genceo gender of ceo: 1=M, O=F 
educeo education of ceo: years 
smesize sme size based on persa... 
smefac sme assets based on fac... 
incinnoy sme incinnov 

expopn total expenditure 
expinnov sme innovation expendit... | 
exptot total expenditure 

dmmfd innovation male microcre... 
dfmfd innovation female microc... 
weight innovation sampling weight 
bdb...ess sme broadband accessib.., 


pcirr proportion of region with... 
raw raw 

raw2 raw? 

raw3 raw3 

raw4 raw4 

raw5 raw5 

raw raw6 

lexptot 
idfmid1 

dimtdO8 


Fuente: STATA con datos propios. 
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El siguiente commando crea la interacción entre la variable trata- 
miento y el tiempo de relleno (time dummy), año en este caso, el 
cual es 0 para 01 and 1 for 08): 


gen dfmfdyr=dfmfd08*year 


El siguiente comando ejecuta la regresión que implementa el 
método DD (ver Tabla 5.5): 


reg lexptot year dfmfd08 dfmfdyr 
Los resultados muestran el mismo impacto de la participación de 
CEOs de género femenino en los pei con acceso a microcréditos 


sobre el gasto total anual per cápita de las pbt, tal como se obtuvo 
en el periodo anterior ejercicio: 
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Tabla 5.5. Comandos y tabla de resultados de la regresión para cálculo DD 
. gen dinfdyredfatdeseyear 


. reg lexptot year dfefd0s dfafdyr 


Source | ss at ns Number of obs = 

> 1,652 
ef Ftd, 1648) r 

> 32,18 
Model | 20, 2263962 3 6,74213005 = Prob > F > 

> 0.0009 
Resicual | 345. 322048 1,043 .209539471 R-squared 2 

> 0.0553 
Adj Resquared - 

> 0.0536 
Total | 365.547438 1,651 .221409714 Root MSL = 

> 45775 


Å 


> 


leaptot | Coel. Std. rr. t P>jt] [953 Conf. Int 
> ervall 
——— a —_ _ ___ _ 
> 
year | 2473088 0227386 4,59 0,008 -0831052 2 
> 4133235 
dlmrons | -.1145671 =. 0328999 -3.59 0,006 -,11713584  -.0 
> 519984 
dinfdyr | 1113764 «80451133 2.47 9.014 +02289093 +1 
> 994619 
cons | 4 110421 0331497 158.006 06.006 8.265875 a, 
> 355887 


es 


> — 


Fuente: STATA con datos propios. 


e Una suposición básica detrás de la implementación simple de DD, 
es que otras covariables no cambien a través del tiempo (años). 
Pero si esas variables varían, deberan ser controladas en la regre- 
sión, para obtener el efecto neto de la participación del programa 
en los resultados. Entonces, el modelo de regresión se extiende, 
al incluir otras covariables que pueden afectar los resultados de 
interés. Así, se debe teclear (ver Tabla 5.6): 
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gen Insmefac=In(1+smefac/100) 


reg lexptot year dfmfd08 dfmfdyr genceo ageceo educeo Insmefac 


bdbaccess pcirr raw1 raw2 raw3 raw5 raw6 [pw=weight] 


Tabla 5.6. Comandos, tabla de resultados con la regresión incluyendo 


todas las covariables involucradas y estructura del archivo 


. gen Insmefac=1n(l+smefac/100) 


. reg lexptot year dfmfd0s dfmfdyr genceo ageceo educeo Insmefac bdbaccess pcirr rawl raw2 raw3 rowS raw6 [pw=weight] 


(sum of wot is 1.6445¢+03) 


Linear regression 


Robust 
Cocf. Std. Err. t P>jti 


lexptot 


+ 2768099 
-0012122 


0679939 
0326585 


4.07 
0.04 


genceo 
ageceo 
educeo 
Insmefac 
bdbaccess 
pcirr 
rawl 
raw2 
raw3 
raws 
raw6 
cons 


«0017445 =. 0011041 1.58 6.114 
-0385333 =. 0049841 7.73 0.000 
.226467 =. 0309236 7.32 0.000 
-.011292  .0498495 -0.23 0.821 
-0628715 .0453625 1.39 0.166 
-.0023961 0109958 -0.22 0,828 
-0071376  .0120905 0.59 08.555 
0158481 005106 3.10 0.002 
.1458875 =. 0475718 3.07 8.002 
-0011434 =. 6831013 0.37 0.712 
7.399387 =. 2715525 


Number of obs 
F(14, 1637) 

Prob > F 
R=squared 
Root MSE 


loss Con 


-1434456 
-.0628446 
-.0526491 
-.1512296 
-.0004212 
.0287575 
«165813 
-.1090674 
-.0261031 
-.0239634 
-.0165769 
0058332 
.0525794 
-. 0049395 
6.86676 


f. 


4101741 
0652691 
.1555802 
0602227 
0039102 
0483092 
.2871209 
-0864835 
1518461 
-0191712 
-0308521 


1,652 
24.90 
0.0000 
0.2826 
42765 


Interval) 


-025863 


.2391956 
.0072263 
7.932014 


Fuente: STATA con datos propios. 
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lexpiot 
dimid) 
dimidOa 
dimidyr 
_ismefac 
& A- 
Fuente: STATA con datos propios. 


Label 


ID 

year of observation: D+01, 1-08 
id region 

id cluster 

age af coo: years 

gender of can: 1=M, 0=F 
education of cao: years 

sme size based on persaonne 
sme assets based on facikies 
sme incinn 

total expenditure 

Sie innovallon expenditure: Tk/year 
total expenditure 


TOMO I 


innovation male micracred1 participant 1=Y, O=N 
innovation female microcredit participant: 1s, O=N 


innovation samoling weight 


sma broadband accessible af yaar: 1=Y, O=N 


proportion of region with internet broadband 


raw 
raw? 
raw3 
ravd 
raw5 
taw6 


Al mantener constantes otros factores, se aprecia que el impacto del 


programa, han cambiado de significate a no significante (t = 0.97). 


Checando robustez de DD con regresión de efectos fijos 
Otra forma de medir la estimación de DD, es usar una regresión de efectos 


fijos en lugar de mínimos cuadrados ordinarios (OLS. Ordinary Least 


Squares). Lo anterior por: 
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e La regresión de efectos fijos hace un mejor control de caracterís- 
ticas no observadas en las pbt y de las caracteristicas invariantes en 
el tiempo, que pueden influir en la variable de resultado. 

+ El comando STATA xtreg es el que se utiliza para ejecutar la regre- 
sión de efectos fijos. En particular, se complementa con la oción fe, 
que se ajusta a los modelos de efectos fijos. Así, se deberá teclear 
(ver Tabla 5.7): 


xtreg lexptot year dfmfd08 dfmfdyr, fe i(id) 


Los resultados mostraron nuevamente un impacto positivo significa- 
tivo de la participación de las CEOs de género femenino. 


Tabla 5.7. Comandos y tabla de resultados de la regresión de efectos fijos 


. xtreg lexptot year dfmfd08 dfmfdyr, fe i(id) 
note: dfmfd08 omitted because of collinearity 


Fixed-effects (within) regression Number of obs = 1,652 
Group variable: id Number of groups = 826 
R=sq: Obs per group: 
within = 0.1450 min = 2 
between = 0.0061 avg = 2.0 
overall = 0.0415 max = 2 
F(2,824) - 69.90 
corr(u_i, Xb) = -0.0379 Prob > F = 0.0000 
lexptot Coef. Std. Err. t P>|t] [95% Conf. Interval] 
year . 1473188 + 0262266 5.62 0.000 + 0958399 .1987976 
dfmfd08 0 (omitted) 
dfmfdyr .1113764 .03614 3.08 0.002 .0404392 .1823136 
_cons 8.250146 -0127593 646.60 0.000 8.225101 8.27519 
sigma_u -38132289 
sigma_e . 36670395 
rho -51953588 {fraction of variance due to u_i) 
F test that all u_i=0: F(825, 824) = 2.14 Prob > F = 0.0000 
Command 


Fuente: STATA con datos propios. 
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e Al incluir el resto de las covariables en la regresiíon, regresión de 
efectos fijos se extienden, de la siguiente forma (ver Tabla 5.8): 


xtreg lexptot year dfmfd08 dfmfdyr genceo ageceo educeo 
Insmefac bdbaccess pcirr raw1 raw2 raw3 raw5 raw6, fe i(id) 


Tabla 5.8. Comandos y tabla de resultados de la regresión 


de efectos fijos incluyendo a todas las covariables involucradas 


» xtreg lexptot year dfmfd08 dfmfdyr genceo ageceo educeo Insmefac bdbaccess pcirr rawl raw2 raw3 rawS raw6, fe ilid) 
note: dfmfd®8 omitted because of collinearity 


Fixed-effects (within) regression Number of obs = 1,652 
Group variable: id Number of groups = 826 

R-sq: Obs per group: 
within = 0.1715 min = 2 
between = 0,1914 avg = 2.0 
overall = 0.1737 max = 2 
F(13,813) = 12.95 
corr(u_i, Xb) = 0.1222 Prob > F = 0.0000 
lexptot Coef. Std. Err. t P>It/ [95% Conf. Interval] 
year «2211178 -063087 3.50 6.000 0972851 3449504 

dfmfdos 0 (omitted) 

dfnfdyr - 0906308 «6367358 .0185226 «1627391 
genceo -.0577238 + 0722968 =. 1996342 0841866 
ageceo -.0003766 0016985 -.0037106 -0029574 
educeo -0137419 «6082935 ~. 0025373 . 030021 
lnsmefac ~1381659 + 0619682 0165293 .2598025 
bdbaccess -.0932955 053396 -.1981057 -0115147 
peice -0823594 «0642728 -.0438009 «2085196 
rawi 0107911 - 010209 -.0092481 -0308303 
raw2 -.0227681 .0123379 -.046986 0014498 
rama ~.0014743 0064578 -.0141503 «0112016 
raw5 «1439482 047915 0498965 238 


raw 
-cons 


„0038546 .0031366 
7.853111 .2482708 


=. 0023022 «0100113 
7.365784 8.340439 


sigma_u 
sigma_e «3634207 
rho 47557827 {fraction of variance due to u_1) 


F test that all u_1í=0: F(825, 813) = 1.59 Prob > F = 0.0000 


Fuente: STATA con datos propios. 


Los resultados muestran que, después de controlar los efectos de los 
factores de tiempo invariante no observado, la participación de CEOs 
femenina con acceso al microcrédito, tiene un impacto positivo del 9.1% 
en el consumo per cápita de las pbt, y el impacto es muy significativo. 
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DD en datos de sección transversal 

El método DD, también se puede aplicar a datos de sección transversal, 
no solo a datos de panel. La idea es muy similar a la utilizada en los datos 
del panel. En lugar de una comparación entre años, son comparadas 
regiones programadas y no programados, en lugar de una comparación 
entre participantes y no participantes, se comparan grupos objetivo y no 
objetivo. De esta forma: 


e Se utilizan los datos de pei_01.dta para crear una variable ficticia 
(dummy) llamada target, para aquellas pbt que sean elegibles para 
participar en programas de microcrédito (es decir, aquellos que 
tienen menos de 50 decimales de activos sme). Luego, se crea otra 
variable ficticia dummy del programa a nivel cluster (progcluster) 
para los que están identificados como tal. Por lo tanto, se tiene (ver 
Tabla 5.9): 


use “/Users/DCA/Desktop/STATA log files/pei_01.dta”, clear 
gen lexptot=In(1+exptot) 

gen Insmefac=In(1+smefac/100) 

gen target=smefac<50 

gen progcluster=cluster<25 
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Tabla 5.9. Comandos para preparar estructura de archivo 
en análisis de datos de sección transversal 


use "fUsers/0CA/Desktop/STATA log files/pri_91.dts”, cleer 
[Mexico's small and medius esterprises based on techaology) 


. use “/Users/DCA/Deaktop/STATA log files/pei 61 dta”, clear 
¡Mexico's small and medium esterprises based on technology) 


. gan Llaexptotaln(leexptot) 
. pen lnsmefac=Ln(lssmefac/100) 
, Gen Targetesentac<se 


~ gen progelusterectuster<25 


Fuente: STATA con datos propios. 


Pope —_ 


| miata 
hares Lael 
| gún dl rapes 
Cluster iG ouster 
myeceo age of pen 
Diniga ginder of cao: 1-4 =F 
furan sayration el cat: yan 
TME ome sine based on personel 
| peral ime ases base) on dci 
| indin ame boiia 
p ie pen expenditure 
eqn rey eme nhao mpende 
BAA Toda! pre tuná 
TE] AION mak mibracredit participar: TY, Deti 
dire nio fetid ip adi plant 10 Oh 
wag nation supina right 
beats ore bend band arcade al prar ToT, Obi 
pir Properiion of region with: mamat bead banc 
my tal 
rad naw 
| inn hr dl 
y raw raat 
raD rai 
wa fae 
CPET CEO m mem Bih Jat, eh 
we 
Begint 
| inepitat 
| nemeit 
| torpes 
| pripelestar 


Fuente: STATA con datos propios. 
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e Posteriormente, genere una variable que interactúe con la prog- 
cluster y el target del programa: 


gen progtarget=progcluster*target 


e Así, calcule la estimación de DD con regresión del registro del 


gasto total per cápita de la pbt contra las variables cluster, target y 
su interacción (ver Tabla 5.10): 


reg lexptot progcluster target progtarget 


Los resultados muestran, que el impacto de la colocación del pei con 


acceso a microcrédito en el grupo objetivo (target) no es significativo 
(t = —0.61). 


Tabla 5.10. Comandos y tabulación de la regresión 
. gen progtarget=progcluster*target 


. reg lexptot progcluster target progtarget 


Source $s df MS Number of obs = 826 
F(3, 822) = 27,38 

Model 10,9420259 3 3.64734195 Prob > F = 0.0000 
Residual 109.485295 822 .133193789 R-squared = 0.0909 
Adj R-squared = 0.0875 

Total 120.427321 825 .14597251 Root MSE = . 36496 


lexptot Coef. Std. Err. t P>|t| [95% Conf. Interval] 


progcluster -.0646577 — ,0770632 -0,84 0.402 -.2159215 .086606 
target -,.2996852 .6815261 -3,68 0.000 -,459709 -,1396614 

| progtarget | 0529438 _.0867976 0.61 0.542 -.1174272 .223314 
8.485567  .0729914 116.25 0.000 8.342296 8.628839 


Fuente: STATA con datos propio. 
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e El coeficiente de la variable de impacto (progtarget), que es 0.053, 
no da el impacto real de los programas de microcrédito; tiene que 
ajustarse dividiendo entre una proporción de los pbt objetivo en 
los cluster del programa. El siguiente comando sirve para encontrar 
la proporción (ver Tabla 5.11): 


sum target if progcluster==1 


Tabla 5.11. Comandos y tabla de resultados tras aplicar proporción 


. Sun target Lf progclustere=l 


Variable Obs Mean Std. Dev. Min Max 
target 700 .$063714 „4034007 e 1 


Fuente: STATA con datos propios. 


e Delos pbt en los cluster del programa, el 68.9% pertenece al grupo 
objetivo. Por lo tanto, el coeficiente de regresión de progtarget se 
divide por este valor, (0.529438/0.6885714) resultando 0.077, que 
es el verdadero impacto de los programas de microcrédito en la 
población objetivo, incluso, aunque no sea significativo. 

e Como antes, el modelo de regresión puede especificarse ajustando 
las covariables que afectan los resultados de interés (ver Tabla 
5.12): 


reg lexptot progcluster target progtarget genceo ageceo educeo 
Insmefac bdbaccess pcirr raw1 raw2 raw3 raw5 raw6 [pw=weight] 


Manteniendo constantes otros factores, se encuentran cambios en 
el nivel de significación de impactos del microcrédito en el gasto 
total anual per cápita de las pbt. 


282 


CAPITULO 5. DOBLE DIFERENCIA (DOUBLE DIFFERENCE) 


Tabla 5.12. Comandos y tabulación de la regresión incluyendo 


todas las covariables para análisis de datos de sección transversal 


. xtreg lexptot progcluster target progtarget genceo ageceo educeo lnsmefac, fe i(cluster) 
note: progcluster omitted because of collinearity 


Fixed-effects (within) regression Number of obs = 826 
Group variable: cluster Number of groups = 29 
R-sq: Obs per group: 
within = 0,2213 min = 21 
between = 0.0050 avg = 28.5 
overall = 0.1901 max = 38 
F(6,791) = 37.47 
corríu_i, Xb) = -0.0782 Prob > F = 0.0000 


lexptot Coef. Std. Err. t P>|t] [95% Conf. Interval] 


© (omitted) 
-001118 -0805374 0.01 0.989 


progcluster 


target -1569742 .1592102 


: E : = 
genceo -.0236468 .056175 -0.42 -.1339164 -0866228 
ageceo -.0001933 .0010037 -0.19 -.0021636 .001777 
educeo ,0267043 .0037686 7.09 .0193066 .034102 
insmefac .2466233 .0378532 6.52 .1723188 .3209278 


-cons 8.120513 -0799974 101.51 7.96348 8.277545 


.13064017 
.32648911 
.13801212 (fraction of variance due to u_1) 


F test that all u_i=0: F(28, 791) = 4.41 Prob > F = 0.0000 


Fuente: STATA con datos propios. 


e Nuevamente, la regresión de efectos fijos se puede usar en lugar 
de OLS (Ordinary Least Squares), para verificar la robustez de los 
resultados. Sin embargo, con datos transversales, los efectos fijos 
a nivel del pbt es posible que no se ejecuten, porque cada pbt o 
sujeto, aparece solo una vez en los datos. Por lo tanto, a nivel de 
cluster sí se ejecuta la regresión de efectos fijos, con la siguiente 
programación (ver Tabla 5.13): 


xtreg lexptot progcluster target progtarget, fe i(cluster) 


Esta vez, hay un impacto negativo (insignificante) de los programas 
de microcrédito en el gasto per cápita de los pbt: 
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Tabla 5.13. Comandos y tabulación de regresión de efectos fijos para 


verificar robustez de resultados a nivel clúster 


. xtreg lexptot progcluster target progtarget, fe i(cluster) 
note: progcluster omitted because of collinearity 


Fixed-effects (within) regression Number of obs = 826 
Group variable: cluster Number of groups = 29 
R-sq: Obs per group: 
within = 0.1037 min = 21 
between = 0.0035 avg = 28.5 
overall = 0.0900 max = 38 
F(2,795) = 45.98 
corr(u_i, Xb) = -0.0455 Prob > F = 0.0000 
lexptot Coef. Std. Err. t P>|t] [95% Conf. Interval] 
progcluster 0 (omitted) 
target -.2457652 .0791694 -3.10 0.002 -.4011708 -.0903595 
~.0212434 — .0844614 -.187037 
-cons 8.436006  .0231597 364.25 0.000 8.390545 8.481467 
sigma_u .1268703 
sigma_e .34940166 
rho .1164883 (fraction of variance due to u_i) 


F test that all u_i=0: F(28, 795) = 3.66 Prob > F = 0.0000 


Fuente: STATA con datos propios. 


e La misma regresion de efectos fija se vuelve a correr incluyendo 
todas las covariables (ver Tabla 5.14): 


xtreg lexptot progcluster target progtarget genceo ageceo educeo 
Insmefac, fe i(cluster) 


No se observan cambios significativos de nivel si se ubicaran clús- 
ters de 29-87. 
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Tabla 5.14. Comandos y tabulación de regresión de efectos fijos para 


verificar robustez de resultados a nivel clúster con todas las covariables 


. xtreg lexptot progcluster target progtarget genceo ageceo educeo Insmefac, fe i(cluster) 
note: progcluster omitted because of collinearity 


Fixed-effects (within) regression Number of obs = 326 
Group variable: cluster Number of groups = 29 
R=sq: Obs per group: 
within = 0,2213 min = 21 
between = 0.0050 avg = 28.5 
overall = 0.1901 max = 38 
F(6,791) - 37.47 
corr(u_i, Xb) = -0.0782 Prob > F - 0.0000 
lexptot Coef. Std. Err. t P>jti [95% Conf. Interval] 


progcluster © (omitted) 


target -001118 -0805374 9.01 0.989 -.1569742 .1592102 
[progtarget | 0040862 .0796204 0.080.959 -. 15102862 .1592007) 
genceo -.0236468 -056175 -0.42 0.674 -.1339164 .0866228 
ageceo -.0001933 - 9010037 -0.19 0.847 -.0021636 -001777 
educeo -0267043 0037686 7.09 0.000 - 0193066 .034102 
lnsmefac ~ 2466233 .0378532 6.52 0.000 .1723188 .3209278 
-cons 8.120513 0799974 201.51 0,000 7.96348 8.277545 
sigma_u .13064017 
sigma_e .32648911 


rho ~ 23801212 (fraction of variance due to u_1) 


F test that all u_iw@®: F(28, 791) = 4.41 Prob > F = 0.0000 


| 
Fuente: STATA con datos propios. 


Tomando en cuenta las condiciones iniciales 

Aunque la implementación DD a través de controles de regresión (OLS 
o regresión efectos fijos) para covariables a nivel de pbt y clúster, las 
condiciones iniciales durante las encuestas en línea de base, pueden tener 
una influencia separada sobre los cambios posteriores en el resultado o 
asignación al tratamiento. Por lo tanto, ignorar el efecto separado de las 
condiciones iniciales, puede sesgar las estimaciones de DD. 

Sin embargo, incluir las condiciones iniciales en la regresión, es 
complicado. Porque las observaciones de referencia (línea base) en la 
muestra del panel, ya contienen características iniciales. Las variables 
extra para las condiciones iniciales, no se pueden agregar directamente. 
Una forma de agregar condiciones iniciales, es tener en cuenta una imple- 
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mentación alternativa de la regresión de efectos fijos. En esta implemen- 
tación, se crean variables de diferencia para todas las variables (resultado 
y covariables) entre los años, y luego estas variables de diferencia se usan 
en regresiones, en lugar de las variables originales. En este conjunto de 
datos modificado, las variables de condición inicial, se pueden agregar 
como regresores adicionales sin problemas de colinealidad, por lo que: 


e Los siguientes comandos crean las variables de diferencia del panel 
pei_0108.dta. Se debe asegurar que en los archivos pei_01.dat y 
pei08.dat, se encuentren en la estructura: 


gen lexptot=In(1+exptot) 

gen Insmefac=In(1+smefac/100) 
gen dfmfd1=dfmfd==1  year==1 
egen dfmfd08=max(dfmfd1), by(id) 
gen dfmfdyr=dfmfd08*year 


e Con lo anterior, proceder a teclear: 


clear 

use “/Users/DCA/Desktop/STATA log files/pei_0108.dta” 
sort id year 

by id: gen dlexptot=lexptot[2]-lexptot[1] 

by id: gen dInsmefac=Insmefac[2]-Insmefac[2] 
by id: gen ddfmfd08=dfmfd08[2]-dfmfd08[1] 
by id: gen ddfmfdyr=dfmfdyr[2]-dfmfdyr[1] 
by id: gen ddmmfd=dmmfd[2]-dmmfd[1] 

by id: gen ddfmfd=dfmfd[2]-dfmfd[1] 

by id: gen dgenceo=genceo[2]-genceo[1] 

by id: gen dageceo=ageceo[2]-ageceo[1] 
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gen deduceo=educeo[2]-educeo[1] 

gen dbdbaccess=bdbaccess[2]-bdbaccess[1] 
gen dpcirr=pcirr[2]-pcirr[1] 

gen draw1=raw1[2]-raw1[1] 

gen draw2=raw2[2]-raw2[1] 

gen draw3=raw3[2]-raw3[1] 

gen draw5=raw5[2]-raw5[1] 

gen draw6=raw6[2]-raw6[1] 


STATA crea estas variables de diferencia para ambos años. 


Entonces una regresión OLS se ejecuta, con las variables de dife- 


rencia más las covariables originales como regresores adicionales, 


restringiendo la muestra al año de de línea de base o referencia 


(año = 0). Esto se debe realizar porque la línea de base contiene 


tanto las variables de diferencia como las variables de condición 


inicial. Por lo tanto, se teclea (ver tabla 5.15): 


reg dlexptot ddfmfd08 ddfmfdyr dgenceo dageceo deduce dlns- 


mefac dbdbaccess dpcirr draw1 draw2 draw3 draw5 draw6 genceo 


ageceo educeo Insmefac bdbaccess pcirr rawl raw2 raw3 raw5 


raw6 if year==0 [pw=weight] 
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Tabla 5.15. Tabla de resultados de la regresión 


inclyendo todas las covariables 


Robust 


dgenceo -.0615416 -0871488 -0.71 0.480 -.2326083 -1095251 
dageceo | -0013583 .0023165 0.59 0.558 -.0031889 .0059055 
deduceo | -0153497 -0117889 1.30 0.193 -.0077909 -0384904 
dinsmefac | -1260302 -0701158 1.80 0.073 -.011602 -2636624 
bdbaccess| -.1365889 .0702504 -1.94 0.052 -.2744853 .0013075 
dpcirr | -1042085 .1124156 0.93 0.354 -.1164551 .3248721 
draw1 | -0065267 -0147616 0.44 0.659 -.0224493 -0355027 
draw2 | -.04828 .0261598 -1.85 0.065 -.0996297 .0030697 
draw3 | —.0071707  .0143637 -0.50 0.618 -.0353656  .0210241 
draw5 | -0137635 -0062199 2.21 0.027 -0015542 -0259727 
draw6 | . 1991899 -101613 1.96 0.050 -.0002689 .3986486 
genceo | -.1157563 -0844686 -1.37 0.171 -.281562 -0500494 
ageceo | .0054212 .002046 2.65 0.008 -001405 -0094375 
educeo | .0230352 .008891 2.59 0.010 .0055828  .0404876 
insmetac | -.0690961  .0545822 -1.27 0.206 -.1762369 .0380448 
bdbaccess| --1142214 .1065896 -1.07 0.284 -.323449 .0950062 
peirr | .1471455 - 109057 1.35 0.178 -.0669254 .3612164 
rawi | -.0047485 .0317983 -0.15 0.881 -.0671661 -0576691 
raw2 | -.0337045 .0306002 -1.10 0.271 -.0937705 .0263614 
raw3 | -.0047502 .0129723 -0.37 0.714 -.0302138  .0207134 
raw5 | -0205757 = .0083353 2.47 0.014 -0042142  .0369373 
raw6 | -1015795 .1273284 0.80 0.425 -.1483568 .3515158 
cons | —.704969 .5861648 -1.20 0.229 -1.855567 .4456292 


Fuente: STATA con datos propios. 


Los resultados muestran que, después de controlar las condiciones 
iniciales, el impacto de la participación del microcrédito desaparece 
(t = en función de la variable de relación que escoja a interactuar). 
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DD combinada con PSM 


El método DD se puede refinar de varias maneras: 


1. Una es usando la propensión de puntaje de coincidencia o empare- 
jamiento (PSM) con los datos de referencia o línea de base, para 
asegurarse de que el grupo de comparación sea similar al grupo 
de tratamiento y luego, aplicando DD a la muestra e coincidencia 
o emparejada. De esta manera, se puede tratar la heterogeneidad 
observable en las condiciones iniciales. Usando el comando 
pscore, la variable de participación en 08/09 (aquí como dfmfd08 
para ambos años) se hace su regresión con variables exógenas de 
01/02 para obtener puntajes de propensión a partir de los datos de 
referencia. Estos comandos son los siguientes (ver Tabla 5.16): 


clear 

use “/Users/DCA/Desktop/STATA log files/pei_0108.dta” 

gen Insmefac=In(1+smefac/100) 

gen dfmfd1=dfmfd==1 & year== 

egen dfmfd08=max(dfmfd1), by(id) 

keep if year==0 

pscore dfmfd08 genceo ageceo educeo Insmefac bdbaccess pcirr 
rawl raw2 raw3 raw5 raw6 [pw=weight], pscore(ps98) blockid(- 
blockf1) comsup level(0.001) 


La propiedad de balanceo del PSM debe ser satisfecha, lo cual 
significa que las pbt con la misma propensión de puntaje tienen 
las mismas distribuciones de todas las covariables en todos los 
cinco bloques. La región de soporte común es [0.606030439, 
0.78893426], con 26 regiones. 
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Tabla 5.16. Comandos y tabulación de Resultados utilizando PSM 


+ pscore dfmfd08 genceo ageceo educeo Insmefac bdbaccess pcirr rawl raw2 raw3 rawS raw6 [pw=weight], pscore(ps98) blo 
> ckid(blockf1) comsup level(0.001) 
(0 real changes made) 


EPIA 


Algorithm to estimate the propensity score 
HRARARARARAA RARA 


The treatment is dfmfdos 


dfafdog Freq. Percent Cum. 
0 391 47.34 47.34 
1 435 52.66 100.00 

Total 826 100.00 


Estimation of the propensity score 


(sum of wot is 8.2233¢+02) 

Iteration 0: log pseudolikelihood = -554.25786 
Iteration 1: log pseudolikelihood = -480.05123 
Iteration 2: log pseudolikelihood = -475.25432 


Iteration 3: log pseudolikelihood = -475,17443 
Iteration 4: log pseudolikelihood = -475.1744 
Probit regression Number of obs = 826 
Wald chi2(11) = 78.73 
Prob > chi2 = 0.0000 
Log pseudolikelihood = -475,1744 Pseudo R2 = 0,1427 
Robust 
dfmfd08 Coef. Std. Err. z P>|z| [95% Conf. Interval] 
genceo -.1512794 - 2698723 -0.56 0.575 -.6802194 .3776605 
ageceo -.0073102 .0046942 -1.56 0.119 -.0165106 .0018903 
educeo -.0261142 .018235 -1.43 0.152 -.0618542 .0096257 
Insmefac -.9010234 .137662 -6.55 0.000 -1.170836 -.6312109 
bdbaccess .2894359 .2626682 1.10 0.271 -.2253843 .804256 
pcirr .0367083 .1999013 0.18 0.854 -.3550911 .4285077 
rawl .1682276 .0606261 2.77 0.006 .0494028 .2870525 
raw2 .0603593 .0500646 1.21 0.228 -.0377655 .1584841 
raw3 -.0472819 .0205877 -2.30 0.022 -.087633 -.0069309 
raw5 -.2991866 .184372 -1.62 0.105 -.660549 .0621759 
raw6 .009133 .0141985 0.64 0.520 -.0186954 .0369615 
_cons -1.002465 1.241022 -0.81 0.419 -3.434823 1.429894 


Note: the common support option has been selected 
The region of common support is [.06030439, .78893426] 
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Description of the estimated propensity score 
in region of common support 


Estimated propensity score 


Percentiles Smallest 

1% .0800224 .0603044 

5% .1415098 .061277 
10% .2124288 .0622054 Obs 800 
25% .3583033 .0647113 Sum of Wgt. 800 
50% .481352 Mean .4579494 
Largest Std. Dev. .1612539 

75% .570064 .7616697 
90% .6600336 . 7650957 Variance - 0260028 
95% - 688278 + 7716357 Skewness -.4881678 
99% .7515092 .7889343 Kurtosis 2.637857 


FRIAR ARR CA AKA leokok 
Step 1: Identification of the optimal number of blocks 
Use option detail if you want more detailed output 

FAA ACCRA I CAAA CRACK 


The final number of blocks is 4 


This number of blocks ensures that the mean propensity score 
is not different for treated and controls in each blocks 


SEAGIG CA AIK A AA AK 
Step 2: Test of balancing property of the propensity score 
Use option detail if you want more detailed output 

SEARO AO AR AR A A A OK A AI A I A IK A IR A IR A RR A KK AK 


The balancing property is satisfied 


This table shows the inferior bound, the number of treated 
and the number of controls for each block 


Inferior 

of block dfmfde8 
of pscore 0 T Total 
.0603044 69 
.2 180 
.4 401 
.6 150 
Total 365 435 800 
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Note: the common support option has been selected 


Joo NOOO NOM OI ee 
End of the algorithm to estimate the pscore 
AR OR CR a 


Command 


Fuente: STATA con datos propios. 


Los siguientes comandos, mantienen la coincidencia o empareja- 
miento de las pbt, en el año de referencia o línea de base y los 
combina con los datos del panel para mantener solo los pbt coinci- 
dentes en la muestra del panel (ver Tabla 5.17): 


keep if blockf1!=. 

keep id 

sort id 

merge idusing “/Users/DCA/Desktop/STATA log files/pe1_0108.dta” 
keep if _merge==3 


Tabla 5.17. Comandos y estructura de archivo fusionado 


. keep if blociflis. 
126 observatioss se leted) 


ı keep id 

ı wert ie 

, Berge de esieg “/Wsers/0CA/DesktoprsTATA 100 files/pel #108 4ta” 
imoñe: yos ere using old serge sysiocs; sec |O] serge fer ren putas! 


variable id does ent utiquely identify obtecwations in JieresDbCA/Decitap/STATA tog fllec/sei DIAL. dta 


, beep if arpani 
192 Obserwotloes seleted) 


Fuente: STATA con datos propios. 
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CAPITULO 5. DOBLE DIFERENCIA (DOUBLE DIFFERENCE) 


| ori: 


Name Label 

id ID 

year year of observation: 0=01, 1=08 
region id ragion 

cluster id cluster 


ageceo age of ceo: years 


penceo arren of ceo: 12M, OeF 


smesize sme size based on persaonnel 
smefac sme assets based on facilities 
incinnow sme incinnow 

expopn total expenditure 

expinnov (sme innovation expenditure: Tk/year 


exptot total expenditure 

dmmid innovation male microcredit participant: 1=Y, O=N 
dtmfd innovation female microcredit participant: 1=Y, D=N 
weight innovation sampling weight 

bdbaccess | sme broadband accessible all year; 1=Y, O=M 
peirr proportion of region with internet broadband 
raw! raw 1 

raw? raw2 

raw3 raw3 

raw4 rawd 
rawS raw5 
raw6 raw6 

merge 


Fuente: STATA con datos propios. 


2. El siguiente paso, es implementar el método DD. Para este ejer- 
cicio solo la implementacion de los efectos fijos es mostrada: (ver 
Tabla 5.18): 


gen lexptot=In(1+exptot) 

gen Insmefac=In(1+smefac/100) 

gen dfmfd1=dfmfd==1 € year== 

egen dfmfd08=max(dfmfd1), by(id) 

gen dfmfdyr=dfmfd08*year 

xtreg lexptot year dfmfd08 dfmfdyr genceo ageceo educeo 
Insmefac bdbaccess pcirr raw1 raw2 raw3 raw5 raw6, fe i(id) 
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EVALUACIÓN DE IMPACTO SOCIAL EN PROYECTOS DE INNOVACIÓN VÍA STATA | TOMO I 


Los resultados muestran, que la aplicación de PSM a DD conserva 
el impacto positivo original de participación de CEOs de género 
femenino en el pei de acceso a microcrédito para los gastos per 
cápita de las pbt. 


Tabla 5.18. Comandos y tabulación de resultados 


qa iaa ip 

- pa ias La] dc e LA 

a tral oral 
gees der td, did 

i Aa RO Tp 


rire lap ar ete) dirilip peior pees a Veet bacan pele tel reed reed rest reed, fe Libii 


wale) e mijini imc el rl lr le 


Pajaro deities seg hraber oF opr = E 
Sree yarijàlei ië Amarr af grepu oo ma 
LETT Ma p Pagi: 
wisis 10, 151 airs El 
Bertiga e 8, LEST a. PE 
Se AA īsi = a 
FLLI ras z LEIT 
baai ja A a Piah + F a CE] 


lexptot Coef. aed. ER t P>|t] {95% Conf. Interval 
year .222509 -0639108 3.48 0.001 -0970532 -3479647 
dfmfdes @ (omitted) 

-0925741 .0371517 2.49 0.013 -019646 -1655023 
genceo =. 084584 -0739679 -1.14 0.253 -.2297818 -0606138 
ageceo -.0003225 .001732 -0.19 0.852 -.0037223 .0030773 
educeo .0132322 -0084471 1.57 0.118 -.0033494 .0298138 

Insmefac .2003341 -07787901 2.57 0.019 - 0474766 -3531917 

bdbaccess ~.0857169 .0542065 -1.58 0.114 -.1921234 .0206896 
pcirr .083983 .0644159 1.30 0.193 -.0424644 .2104303 
rawl -0131877 -0102657 1.28 0.199 -.0069638 0333392 
raw2 -.0272757  .0123259 -2.21 0.027 -.0514712  -.0030802 
raw3 -.0015386 + 0064937 -0.24 0.813 -.0142857 -0112084 
raw5 -1400882 -0485296 2.89 0.004 0448254 2353509 
raw6 -0047885 -0031592 1.52 0.130 -.001413 .0109899 
cons 7.815588 2504303 31.21 0.000 7.323998 8.307179 
sigma_u - 33642591 
sigma_e .36009944 
rho .46605118 (fraction of variance due to u_i) 
F test that all u_i=0: F(799, 787) = 1.58 Prob > F = 0.0000 
Command 


Fuente: STATA con datos propios. 
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ANEXO. 
Introducción a STATA 


Esta sección está diseñada para conocer los recursos de STATA https:// 
www.stata.com/. Ver imagen 1. 


Imagen 1. Sitio web de STATA 


Stata AE mao Limite Lia AS a E A 


kiru ke Eo pa OA Pisa ira 


Your data tell a story 


Explore Vira lire Model Moke a diHerenoa 


Batter insight starts with Stata? 


STeite Conference 


Wia | 30-51 Jue 2520 


Fuente: sitio web STATA. 


Con el fin de manipular los archivos del caso de estimulos a la inno- 
vacion, adjuntos a la obra, utilizando STATA 14.1 (en adelante STATA). 
Es un caso hipotético de información recolectada de pymes de base 
tecnológica (pbt) correspondiente al sector de desarrollo de software de 
la industria electrónica, en varias regiones de un país, con observaciones 
de año 1 a año 8. 
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Estructura de archivos (File Structure) 


Estos ejercicios usan y generan muchos archivos. Existen principalmente 
tres tipos de archivos STATA: 


e Los que contienen el conjuntos de datos, identificados por el sufijo 
.dta 

e Los que contienen los programas STATA, identificados por el 
sufijo .do, y 

e Los que contienen el registro y salida del trabajo hecho en STATA 
identificados por el sufijo .log. 


Para mantener estos archivos organizados, se sugiere la siguiente 
estructura de directorios, ubicados en un disco c, de un equipo Macintosh: 


“/Users/DCA/Desktop/eval/data” 
“/Users/DCA/Desktop/eval/do” 
“/Users/DCA/Desktop/eval/log” 


Descripción de archivos y ejemplos en STATA 


Los archivos de datos, son localizados en “/Users/DCA/Desktop/eval/ 
data”, del disco c de un equipo Macintosh, con tres archivos: 


e pei_01.dta. Este archivo comprende los datos de pymes de base 
tecnológica (pbt) del año 1 que con 826 registros con 24 variables 
de información. 

1.ID 
2. year. Year of observation 
3. region. Region 
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VOX DU A 


ANEXO. INTRODUCCION A STATA 


. cluster. Cluster 

. ageceo. Age of CEO 

. genceo.Gender of CEO 

. educeo. Education of CEO 

. smesize. Sme size based on quantity of personnel 
. smefac. Facilities, resources for innovations 

10. 
11. 
12. 


incinnov. Incentives for innovations per year 
expopn. Sme operation expenditure per year 
expinnov. Sme innovation expenditure per year 


13.exptot. Sme total expenditure per year 


14. 
15. 
16. 
17. 
18. 
19. 
20. 
21. 
22. 
23. 
24, 


dmmfd. Innovation male microcredit participant: 1= Y; O=N 


dfmfd. Innovation female microcredit participant: 1= Y; 0=N 


weight. Innovation sampling weight 

bdbaccess. Broadband access 

pcirr. Proportion of region with internet broadband 
rawl. Raw 1 

raw2. Raw 2 

raw3. Raw 3 

raw4. Raw 4 

raw5.Raw 5 

raw6.Raw 6 


e pei_08.dta. Este archivo es la versión levantada al año 8 de la 


versión pei_01.dta. Incluye 303 nuevos pymes de base tecnológica 


(pbt), haciendo el número total 1,129 pymes. 


e  pei_0108.dta. Este es un conjunto de datos de panel restringido a 


826 pymes de base tecnológica (pbt) entrevistados en los dos años. 


en formato de serie temporal. 


El subdirectorio .do tiene los archivos del programa (.do) especí- 


ficos para las diferentes técnicas de evaluación de impact. Estos archivos 


contienen todo el código STATA necesario para implementar los ejem- 


plos de los capítulos aquí contenidos. 
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El subdirectorio .log contiene todas las salidas generadas al ejecutar 
los archivos .do. 

STATA es un paquete de software estadístico que ofrece una gran 
cantidad de funciones estadísticas y procedimientos de estimación 
econométrica. Iniciar una sesión de STATA se realiza oprimiendo doble 
en el icono instalado en su escritorio. Ver imagen 2. 


Imagen 2. Icono de STATA 


instalado en el escritorio de un equipo Macintosh 


El STATA El entorno informático consta de cuatro ventanas prin- 
cipales. El tamaño y la forma de estos las ventanas pueden cambiarse y 
moverse en la pantalla. En su versión STATA 14. Ver Imagen A.2. 


Imagen 2. Vista de STATA 14 


ii e eo To m el | 
- A AA 
ai nii 
g = na 
Old: ESA 5 P= oc: 
nm ae ee =e ee ee ee n m =a bin = 
sk a Eo E 
s= A l 0 — 
— = | modas fiom rn ee mm = _ 
| weet | 
Tu TH HH itiiti ta ie 
ras 164 
mmaa pe i 
i 
asa 
| À. FULL me i U 
| 1. Baro biam Ll er dá aa all ort biip di am 
i Minim imie as ii h PE rin bet one ee 
id 
| 
E | 
a pe AR ¡A | ee (ee 


Fuente: STATA 14.1. 
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Además de estas ventanas, el entorno STATA tiene un menú y una 
barra de herramientas en la parte superior (para realizar operaciones 
STATA) y una barra de estado del directorio en la parte inferior (que 
muestra el directorio actual). Es posible, usar el menú y la barra de herra- 
mientas para emitir diferentes comandos STATA (como abrir y guardar 
archivos de datos), aunque la mayoría de las veces se usa la ventana de 
comandos STATA para ejecutar programas de aplicación. Si está creando 
un registro archivo (discutido con más detalle más adelante), el contenido 
se puede mostrar en la pantalla, lo cual es útil si desea regresar y ver 
resultados anteriores de la sesión actual. Aunque no es el propósito de dar 
una capacitación en STATA, sí es la intención de dar a conocer al lector 
de sus principales características y forma de usarse a través de una serie 
de ejercicios prácticos, para su mayor claridad. 


Ejemplo 1. Abriendo el conjunto de datos 

(Open data set) 

Se hace al ingresar el siguiente comando en la ventana de comandos 
STATA 14.1. File>0Open—>pei_01.dta 


re A 
Hew 3 


Open Paii La 
Open racani ch Mea b 
= F 1 mi 
Esama Sa 0 IA m 
ose 
El Fa: 
E ied Ti 
iium 
ot b Bei ee E 
a 
kar mi m 
m Les 
= 
Mi. HE = hy E 
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gee "par Sebi ere der pad 0 de 


A _ er 


La línea que se observa, es producto de la instrucción de apertura de 
archivo y con la ausencia de un mensaje de error en una segunda línea, 
implica que el comando se ha ejecutado con éxito. De ahora en adelante, 
solo se mostrará la ventana de resultados STATA. El seguimiento los 
puntos deben tenerse en cuenta: 


e STATA asume que el archivo está en su formato con una exten- 
sión .dta. Por lo tanto, escribiendo pei_08 es lo mismo que escribir 
pei_08.dta. 

e Solo se puede abrir un conjunto de datos a la vez en STATA. En 
este caso, por ejemplo, si abre otro conjunto de datos pei_01.dta, 
reemplazará pei_08.dta con pei_01.dta. 

e Suponiendo que el archivo pei_08.dta no está en el actual direc- 
torio. Para hacer que cambie el uso de su directorio de: 


use “/Users/DCA/Desktop/eval/data/pei_01.dta” 
ahora a Desktop, teclee en ventana de comando STATA: 


use “/Users/DCA/Desktop/pei_01.dta” 


. use "/Users/DCA/Desktop/eval/data/pei_01l.dta" 


Con vista de la ventana de variables de STATA. 
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Name Label 

id ID 

year year of obser... 
region village ID 
cluster idcluster 
ageceo age of ceo 
genceo gender of ce... 
educeo education of... 
smesize sme size bas... 
smefac sme assets b... 
incinnov sme incinnov 
expopn sme opn exp... 
expinnov sme innovatio... 
exptot total expendit... 
dmmfd innovation ma... 
dfmfd innovation fe... 
weight innovation sa... 
bdbaccess sme broad ba... 
peirr Proportion of... 
raw1 raw1 

raw2 raw2 

raw3 raw3 

raw4 raw4 

raw5 raw5 

raw6 raw6 


Ejemplo 2. Guardando el conjunto de datos 
(Saving data set) 
Se cuenta con las siguientes alternativas: 


Si realiza cambios en un archivo de datos STATA abierto y desea 
guardar esos cambios, puede hacerlo, usando el comando save 
de STATA. Por ejemplo, el siguiente comando guarda el archivo 
pei_01.dta: 


. save pei_01, replace 
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. Save pei_@1, replace 
file pei_01l.dta saved 


e La opción replace le indica a STATA que sobrescriba la versión 
el original con la nueva versión. Si no quieres perder la versión 
original, tienes para especificar un nombre de archivo diferente en 
el comando save. 


Ejemplo 3. Saliendo de STATA 

(exiting STATA) 

Una manera fácil de salir de STATA es emitir el comando exit. Sin 
embargo, si tiene un conjunto de datos sin guardar abierto, STATA 
emitirá el siguiente mensaje de error: 


. exit 


exit 


Ejemplo 4. Apoyo de STATA 

(Help) 

STATA viene con un excelente, enorme y útil conjunto de manuales 
multivolumen. Con acceso a la Web, incluso dispone de un conjunto más 
grande de macros y otra información útil. Desde STATA, puede escribir 
el comando help y la palabra clave para solicitar información de ayuda 
sobre. Este comando, solo funciona si escribe el comando el nombre 
completo nombre o palabra clave sin abreviaturas. Por ejemplo: 
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. help clear 


cheer | sate | remeis | miris | progresa | sùn | 


cheer | ath | # i 


prides 


cleir: by deel. rumor ib sad ls bebe ls Trom es eet ie enuivelest i 
para 

- wercige La. 

-dra all lige [61 drami 

a betri dre: LL lihaa l] tabeli 


clar spie erase Bobs feections mrj abria fræ weary dei fe coaivelee’ to opel 


. help clea 
en {ier =r oe 
= > COPC a E 
A A ld ite 
ima kies com = 
dela Par chas aot tissa 
iddioh fas ole ot ee bèāinkd 


En STATA, por cierto, un valor faltante se representa con un punto 
(.). Se considera un valor faltante más grande que cualquier numero. El 
comando summarize ignora las observaciones con valores faltantes, y el 
comando tabulate hace lo mismo, a menos que se vea obligado a incluir 
los valores faltantes. 
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Ejemplo 5. Apoyo de STATA 

(Lookup/Search) 

Si no puede recordar el nombre completo del comando o la palabra clave, 
o si no está seguro acerca de qué comando desea, puede usar el comando 
lookup o search seguido el nombre del comando o palabra clave, escri- 
biéndose así: 


. search mem 
oe ei = Pi es 
a QU ¿ama | 
ai PA dead Ca tmh 
iamb mem # 
farce Tor mea lmaruel: [0] marek! 


sarah al atthe bala Pike, Fiii, Boel Lii, ani iihi 


Ixi ME a 1 i 1 ' Geereybes A 
Insip nest 

1B] Ele. ... - ee A e sre === = , Cher ABRO" 
ineip (irark 

IFI CURPTGHE o « pioa 4 de Hara Emeproni ste iñ semorp 


[help compres 


Ta] escrine | re i za is PRECIADA oe a Tiie 
lalo dageriied 

IEI cg |: ET EESE PE E EE ee eee se aoe Dag ariiba ef assertion 
fmele drepi 

Ld pagane i r i Enpañe stji ipto foe aj via yere 


Inep escorra 


IFI LL md Lo ee =-=- Beery Sera 
(self meen rp 


Este comando, enumerará todos los asociados con esta palabra clave 
y mostrará una breve descripción de cada uno de ellos. Entonces puede 
elegir el comando que cree que es relevante y utilizar la ayuda para 
obtener la referencia específica. El sitio web https: //www.stata.com/ tiene 
excelentes facilidades de ayuda, como un tutorial en línea y preguntas 
frecuentes (FAQ). 
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Ejemplo 6. Notas sobre los comandos STATA 


Aqui hay algunos comentarios generales sobre los comandos STATA: 


Los comandos STATA se escriben en minúsculas. 

Todos los nombres, incluidos los comandos o nombres de varia- 
bles, se pueden abreviar siempre que no existe ambigtedad. Por 
ejemplo: describe, des y simplemente hacen el mismo trabajo 
porque no existe confusión. 

Además de escribir, se pueden usar algunas teclas para repre- 
sentar algunos comandos STATA o secuencias. Los más impor- 
tantes de ellos son las teclas Page-Up y Page-Down. Para mostrar 
el comando anterior en la ventana de comando STATA puede 
presionar la tecla Page-Up. Puedes seguir haciéndolo, hasta que 
el primer comando de la sesión aparece. Del mismo modo, la tecla 
Page-Down muestra el comando que sigue al que actualmente usa, 
en la misma ventana de comandos STATA. 

Al oprimir una vez en un comando, en la ventana de revisión 
(review window), lo colocará también, en el ventana de comando 
STATA. Al hacer oprimir doble, le indicará a STATA que ejecute 
el comando.Esto puede ser útil, cuando los comandos deben repe- 
tirse o editarse ligeramente en la ventana de comando STATA. 


Ejemplo 7. Listando las variables 


(Listing variables) 


Para ver todas las variables en el conjunto de datos, utilice el comando 


describe (completo o abreviado). Este comando proporciona información 


sobre el conjunto de datos y enumera todas las variables. Para ver solo 


una variable o lista de variables, utilice el comando de describe seguido 


del nombre o los nombres de las variables: 


. desc id region 
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» deve hd fuer región 


carga Oiepiay wa lew 


woriobia anms typa Traat Tatal weriabla label 

dd inej 12.023 ma to 

quer byte wh By Teer of obsteralion 
Pegion y Em Mbs Village To 


qn 
Como puede ver, el comando describe también muestra el tipo y la 


longitud de la variable, como una breve descripción de la variable (si está 
disponible). Deben tenerse en cuenta los siguientes puntos: 


e Puede abreviar una lista de variables escribiendo el nombre tan 
solo de la primera y la última variable, separados por un guión (-); 
la ventana de variables (variable window) muestra el orden en que 
las variables se almacenan. Por ejemplo, para ver todas las varia- 
bles desde id hasta raw se escribe: 


. desc id-raw6 


Gu dar 
araraga display LECO 
vee jair ases bape totem! Lobel saniabie bitti 
fi 15 
Tair of SEL 
idee la 
itelurber 


ige of. HE eed: peace 

dancer cf GS head) la, dE 

is A dos piiri 

UR pirs 

EF led sret: darian 

hb total suert: Fl, 

RE par paphia Paad sapetitlswia) Tapasi 

EE per darias pata aplica Thi pear 

EF per capita tatal sapertitera: Turpear 

RF Per mele micracradda perticipast: bet, iol 
fe ber fasie alnrucreiit paridclamer ist, Bab 
FE cami mabght 
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+ El símbolo de comodín (*) es útil para guardar algo de escritura. 
Por ejemplo, para ver todas las variables que comienzan con sme, 


se escribe: 
. desc exp * 
+ desc sser 
Storage display value 
variable nase type format label variable Label 
smesize byte 5.09 MM size 
saelend float %9.69 WH land asset: decimals 


| 
CTONO]K_ eee 


+ Puede abreviar una variable o lista de variables de esta manera, en 
cualquier comando (donde tenga sentido), no solo con describe. 


Ejemplo 8. Listando los datos 

(Listing data) 

Para ver los datos al momento, almacenados en las variables, utilice 
el comando list (abreviado como l ). Si escribe el comando list por sí 
mismo, STATA mostrará valores para todas las variables y todas las 
observaciones, que pueden no ser deseables para ningún propósito prác- 
tico (así, se usa la combinación Ctrl-Break, para evitar que los datos se 
desplacen sin fin por la pantalla). Por lo general, se desea ver los datos de 
ciertas variables y de ciertas observaciones. Esto se logra escribiendo un 
comando list con una lista de variables y con condiciones. El siguiente 
comando enumera todas las variables de las primeras tres observaciones: 


. list in 1/3 
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+ list in 1/3 


1. i cluster ageceo genceo educeo smesize smeland 
72 3 36 


33295 | 3055.856 | 902.2549 | 3958.112 1.042735 1 .45 


incinnov expopn zA exptot dmmfd dfmfd weight vaccess peirr 


rawl raw3 rawS raw6 
11 . 12 2.5 55 


2. cluster ageceo genceo educeo smesize smeland 
1 1 35 1 5 10 116 


incinnov expopn expinnov exptot dmmfd dfmfd weight vaccess peirr 
180325 3031.017 421.2493 3452.266 i 0 1.011396 1 .45 
rawl raw2 | raw3 raw4 raw5 I j raw6 


Command 


Aqui, STATA muestra todos los registros que comienzan con la 
observación 1 y terminan con observación 3. 

STATA, también puede mostrar los datos como una hoja de cálculo. 
Para hacerlo, use los dos íconos en la barra de herramientas llamada 
Data Editor y Data Browser). Oprimiendo una vez, hará que aparezca 
una nueva ventana donde los datos se mostrarán como una tabla, con los 
registros como filas y las variables como columnas. Data Browser solo 
mostrará los datos, mientras que para editarlos necesitará de Data Editor. 
Los comandos Edit y Browser, también abrirán la ventana de la hoja de 


cálculo. 
zá 


Data Editor Data Browser 


A = ar | A Eee a 
nen past 
— 
A T= i a 
bii i oo 
a 
f mj! 
S eel Cee ia a mal. ld nisms — 
LT ima] ë 1 i 1 i a i tu hi ds mi j 
4 JUE A 3 1 11 L h a 316 LM ALT EA oF 
+ iim s 1 i aa t i bj "al sen Maria Mar j 
à IHE a 1 1 de i i T i Wma mum A F 
4 iiis A A i ii i ā a if Wa Hii WE 4 
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| You are about to change from browse mode 
to edit mode, 
-- Are you sure that you want to change to edit mode? 
Do not show this message again 


Conci MEDEE 


Ejemplo 9. Listando datos específicos 
El siguiente comando enumera el tamaño de una pyme de base tecnoló- 
gica y la educación del ceo de género femenino menor de 45 años: 


. list smesize educeo if (genceo==0 & ageceo<45) 


La declaración anterior usa dos operadores relacionales (== y <) y 
un operador lógico (€). Los operadores relacionales imponen una condi- 
ción en una variable, mientras que los operadores lógicos combinar dos 
o más operadores relacionales. Abajo se muestra la relación y operadores 
lógicos utilizados en STATA. 


Relatia opariak Logica! operators 


> ipari Pome. -jaj 
sikas fur] lil 
= bina) Elm 
= ei Bor ar quad: 

= fie Hare re aa 

o obra] 


Puede usar operadores relacionales y lógicos en cualquier comando 
Stata (donde haga sentido), no solo en el comando list. 


309 


ANEXO. INTRODUCCION A STATA 


. list smesize educeo if (genceo==0 & ageceo<45) 


smesize educeo 


Ejemplo 10. Sumando datos 

(Summarizing data) 

El comando summarize (el cual puede abreviarse como sum) calcula y 

muestra algunas sumas de estadisticas, que incluyen medias y desvia- 

ciones estándar. Sino se especifica alguna variable, este comando apli- 

cara para todas para todas las variables incluídas en el conjunto de datos. 
Como ejemplo, se muestra la suma de las variables tamaño de la 

pyme de base tecnológica y la educación del ceo, como sigue: 


. sum smesize educeo 


. sum smesize educeo [aw=weight] 


Variable Obs Weight Mean Std. Dev. Min Max 
smesize 826 822.32837 5.728505 2.567759 1 19 
educeo 826 822.32837 2.657877 3,615297 9 16 


Command 
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STATA excluye cualquier observación que tenga un valor faltante 
para las variables que se suman a partir de este cálculo (los valores 
faltantes se analizan más adelante). Si se requieres saber la mediana y los 
percentiles de una variable, agregue la opción detail (abreviado d), por 


ejemplo: 


ANEXO. INTRODUCCIÓN A STATA 


. sum smesize educeo, d 


. Sum smesize educeo, d 


Percentiles 

1% 2 

5% 2 
10% 3 
25% 4 
50% 5 
75% 7 
90% 8 
95% 10 
99% 14 
—more— 


HH size 


Smallest 
1 


1 
1 
1 


Largest 
15 
17 
17 
19 


Obs 
Sum of Wot. 


Mean 
Std. Dev. 


Variance 
Skewness 
Kurtosis 


Education of HH head: years 


Ejemplo 11. Ponderaciones 


(Weight) 


Una gran fortaleza de STATA es que permite el uso de ponderaciones 
(weights). La opción de weight es útil, si la probabilidad de muestreo 
de una observación es diferente de la de otra. Por ejemplo, en nuestro 
caso es de suponer que en las pymes de base tecnológica (pbt), el marco 


de muestreo estaría estratificado, donde el primer muestreo primario las 


826 
826 


5.470944 
2,378643 


5.657943 
1,308173 
6.355481 
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unidades (a menudo regiones) se muestrean y dependen de la selección 
de las unidades primarias, de las que se extraen unidades de muestreo 
secundarias (a menudo pbt de cierto tamaño). Las encuestas, general- 
mente deben aplicar ponderaciones para corregir las diferencias de diseño 
de muestreo y, a veces problemas de recolección de datos. La implemen- 
tación en STATA es sencilla: 


. sum smesize educeo [aw=weight] 


. sun smesize edeces 


Variable Obs Mean Std. Dev. Nin Max 
snes ize 826 5.470944 2.378643 1 us 
educeo B26 2.405569 3.333702 a 16 


Aquí, la variable weight tiene la información sobre el peso que se 
debe dar a cada observación y aw es una opción de STATA para incor- 
porar el peso en el cálculo. El uso de ponderaciones se analiza más 
adelante en ejercicios de capítulos posteriores. Para las variables que son 
cadenas (strings), el comando summarize no aplica para producir datos de 
estadística descriptiva, excepto que el número de observaciones es cero. 
También para variables categóricas (por ejemplo, educación secundaria 
= 1, educación superior = 2, etc.), interpretar el resultado del comando 
summarize puede ser dificil. En ambos casos, una tabulación completa 
puede ser más significativa, lo cual se discute enseguida. 

En la mayoría del levantamiento de encuestas, las observaciones se 
seleccionan mediante un proceso aleatorio y puede tener diferentes proba- 
bilidades de selección. Por lo tanto, se deben usar ponderaciones que son 
igual a la inversa de la probabilidad de ser muestreada. Una ponderación 


de wn para el enésima observación significa, en términos generales, que 
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la observación n representa elementos wj en la población de la cual se 


extrajo la muestra. Omitir las ponderaciones de muestreo en el análisis, 


generalmente proporciona estimaciones sesgadas, que pueden estar lejos 


de los valores verdaderos. 


Por lo general, son necesarios varios ajustes a las ponderaciones, 


son necesarios posteriores al muestreo. Por ejemplo, la ponderación de 


muestreo de las pymes de base tecnológica (pbt) de la pei_01.dta es la 


ponderación correcta a usar, cuando se utiliza para sumarizar los datos 


relacionados. 


STATA tiene cuatro tipos de ponderaciones: 


Ponderación por frecuencia (frequency weights. fweight), que 
indica cuántas observaciones en la población están representados 
por cada una de la muestra y deben tomar valores enteros. 
Ponderación analítica (analytic weights. aweight) son especial- 
mente apropiados, cuando se trabaja con datos que contienen 
promedios (por ejemplo, ingreso promedio per cápita en una pyme 
de base tecnológica). La variable de ponderación, es proporcional 
al número de pymes sobre las cuales se calculó el promedio (por 
ejemplo, número de miembros de una pyme). Técnicamente, la 
ponderación analítica están en proporción inversa a la varianza 
de una observación (es decir, una mayor ponderación significa que 
la observación se basó en más información y, por lo tanto, es más 
confiable en el sentido de tener menos varianza). 

Las ponderaciones de muestreo (sampling weights. pweight) son 
lo inverso de la probabilidad de selección, debido al diseño de la 
muestra. 

Las ponderaciones de importancia (importance weights. iweight) 
que indican la importancia relativa de la observación. 
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Los más comúnmente usados son pweight y aweight. Mas informa- 
ción sobre las ponderaciones, se pueden obtener escribiendo: 


. help weight 
LEL Team = honi 


6 Co EGEE e 


100 11.0.8 weight — Mabgaty 


‘amar 
Bast Sisti comet cede) Sites midi Brin: Starta ecw fom bade of saiphini 


be heights: òr irepo ejgota, Ara seigne that indices the aadar et 
TUL LESTE Ad eae 


A hed Gr Gel eg E Ge Rdg hTe WANT esate Ine RL 
A MR gamel beg Met ige 


5. igith GF ara Thi stigit. ee maighis Thai dra Invern preareional ib tine 
LA Peet do) A ee or Ipa PER ALO 
ühis Ur bi sipar irw |, Sheet s j Pe a els, Tralca ly, Cie 
sbaereaddor represent averages e bee erigit ane che meier ef cleserrce thei 
pero rim bo Eba wearaga; Fer mort Siete comeands, the recerted simia of 
eeeighte ir irreleeests Siete irieresd ly represa lan thim to oem do A, Eben rar oF 
SboereaQcinn de peer daia; when it mnes thee, 


4. demights. or impeortasta eight. ere alos thet imc tbe "ingirid" of 
E e de wade icc to haa ec forge] wiatiecical 


Los siguientes comandos muestran más sobre la aplicación de ponde- 
raciones: 


. tabstat smesize [aweight=weight], statistics(mean sd) by(dfmfd) 
. table dfmfd [aweight=weight], contents(mean smesize sd smesize) 
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. tabstot smesize [oweighteweight], stotistics(mean sd) byldtetd) 


Summary for varlables! smesize 
by categories of: dfefd (innovation fenale microcredit porticipant: tY, GaN) 


dfatd aoan sá 
a $, 116994 2.672021 
1 5.358550 2.036723 
Total &.728508 2.867758 


. table dfefd loweighteweight], contents(meen smusiza od emuriza) 


innovatio 
n female 
microcred 
it 


participa 

nti laY, 

Gen aean isersièr) sdisnesize) 
a 5.117 2.672921 
1 5.353654 2.030723 


Command 


Ejemplo 12. Ordenamiento con ponderación 
(Sort / weight) 

A menudo, se requieren ver estadísticas sumarizadas por grupos de ciertas 
variables, no solo para todo el conjunto de datos. Supongamos que quiere 
ver el tamaño de la pyme de base tecnológica y la educación del CEO 
para participantes y no participantes. Así: 


e Primero, ordene los datos por variable de grupo (en este caso, 
dfmfd). 
e Puede verificar el ordenamiento con el comando describe, después 


de abrir cada archivo. 
+ El comando describe, después de enumerar todas las variables, 
indica si el conjunto de datos está ordenado por alguna variable. 
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e Sino hay información del ordenamiento, o el conjunto de datos 
se ordena por una variable que es diferente de la que desea, puede 
utilizar el comando sort y posteriormente, guardar el conjunto de 
datos en este formulario. 

e Los siguientes comandos ordenan el conjunto de datos por la 
variable dfmfd y muestran la sumarización estadística del tamaño 
de la yme con base tecnológica y la educación CEO para partici- 


pantes y no participantes: 


. sort dfmfd 
. by dfmfd: sum smesize educeo [aw=weight] 


. Sort dtafd 


, by dtafd: sum seesize educea |aweweight! 


=> dfefd = è 


Variable obs Weight Mean Std. Dev. Mín Maz 


=> dfefd = 1 
Veriable obs Weight Mean Std. Dev. Rin Nox 
smesire 207 155.7309107 5.398539 2.036725 1 mM 
educes 287 158.730107 1,14493 3-734086 a n 


Ejemplo 13. Uso del comando tabstat 

Una alternativa útil al comando summary es el comando tabstat, que le 
permite especificar la lista de estadísticas que desea mostrar en una sola 
tabla. Puede estar condicionado por otra variable. El siguiente comando 
muestra la media y desviación estándar del tamaño de pyme de base 
tecnológica y educación del CEO por la variable dfmfd: 
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. tabstat smesize educeo, statistics(mean sd) by(dfmfd) 


» tebatot sresiew cduces, stotistice(meen sd) byidferd? 


Suemary statistics: aeaa, sd 
by categories of: dtata (HH has female microcredit participant: IY, OM) 


snecize auceo 


3.560297 2.669759 
2.562033 3.559692 


Ejemplo 14. Distribuciones de frecuencia 

(Tabulations) 

Las distribuciones de frecuencia y las tabulaciones cruzadas (cross- 
tabulations) a menudo son necesarias. El comando tabulate (abreviado 
tab) se realiza, como sigue: 


. tab dfmfd 
. tab dfmfd 


innovation 
female 
microcredit 
participant 
: 1=Y, 0=N Freq. Percent Cum. 


539 65.25 65.25 
287 34.75 100.00 


Total 826 100.00 
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El siguiente comando, proporciona la distribución de género de los 
CEO de las pymes de base tecnológica (pbt) participantes: 


. tab genceo if dfmfd== 
. tab genceo if dfmfd== 
gender of 
ceo: 1-M, 
B=F Freq- Percent Cum. 
a 23 8.01 8.01 
1 264 91.99 100.00 
Total 287 100.00 


Tenga en cuenta aquí, el uso del signo = = . Esto indica que si la 
variable es igual a uno, entonces se realiza la tabulación. El comando 
tabulate también puede ser utilizado para mostrar una distribución bidi- 
reccional (two-way distribution). Por ejemplo, si desea verificar si existe 
algún sesgo de género en la educación de los CEO de las pymes de base 
tecnológica (pbt), tiene el comando: 


. tab educeo genceo 


. tab educeo genceo 


education gender of ceo: 1=M, 
of ceo: BsF 

years o de Total 

e 32 414 446 

1 e 27 27 

2 1 56 57 

3 2 39 41 

4 1 43 44 

5 1 77 78 

6 o 23 23 

7 e 21 21 

8 1 26 27 

9 e 15 15 

10 e 26 26 

11 e 2 2 

12 o 14 14 
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Para ver porcentajes por fila o columnas, agregue opciones al 
comando tabulate: 


. tab dfmfd genceo, col row 


. tab dfmfd genceo, col row 


frequency 


row percentage 
cotumn percentage 


innovation 
female 
microcredi 
t 
participan gender of ceo: 1=M, 
tr ley, Q=F 
0=N 6 1 Total 
@ 539 
100.00 
65.25 
1 287 
100.00 
34.75 
Total 38 738 826 
4.60 95.40 100.00 
100.00 100.09 100.06 
Command 


Ejemplo 15. Estadística descriptiva 

(Table Command) 

Otro comando muy conveniente es table, que combina características de 
los comandos sum y tab. Además, muestra los resultados en una forma 
más presentable. El siguiente comando table, muestra la media del 
tamaño de la pyme de base tecnológica y de la educación del CEO, por su 


participación en programa de microfinanzas: 
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.table dfmfd, c (mean smesize mean educeo) 
. table dfmfd, c (mean smesize mean educeo) 
innovatio 


n female 
microcred 


it 

participa 

nt: 1=Y, 

@=N mean(smesize) mean(educeo) 
@ 5.5603 3 
1 5.30314 2 


Ejemplo 16. Despliegue de punto decimal 

Los resultados son los esperados. Pero, ¿por qué la media de educeo se 
muestra como entero y no una fracción? Esto ocurre porque la variable 
educeo se almacena como un número entero, y STATA simplemente 
trunca los números después del decimal. Observe la descripción de la 


variable: 
.d educeo 
. d educos 
storage display value 
variable nane type format label variable label 
educeo byte *2.0f education of ceo: years 
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Tenga en cuenta que educeo, es una variable con punto flotante: 
su formato (% 2.0f) muestra que sus digitos ocupan dos lugares y no 
tiene ningun digito después del decimal. Es posible forzar cambiar dicho 
formato; suponga que desea que muestre dos lugares después del decimal 
para una visualización de tres dígitos, el cual se realiza como sigue: 


. format educeo %3.2f 
. table dfmfd, c (mean smesize mean educeo) 


. format educeo %3.2f 


. table dfmfd, c (mean smesize mean educeo) 


innovatio 
n female 
microcred 
it 


participa 

nt: 1=Y, 

@=N mean(smesize) mean(educeo) 
o 5.5603 2.67 
1 5.30314 1.91 


El formato solo cambia la visualización de la variable, no su repre- 
sentación interna de la variable en la memoria. El comando table, puede 
mostrar hasta cinco estadísticas de las variables como de la media, la 
suma, el mínimo o máximo. Se pueden mostrar tablas bidimensionales, 
tridimensionales o incluso de dimensiones superiores. Por ejemplo, 
mostramos una tabla bidimensional que desglosa la educación del CEO, 
no solo por región, sino también género del mismo. 


. table dfmfd genceo, c (mean smesize mean educeo) 
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. table dfmfd genceo, e (mean smesize mean educeo) 


innovatio 
n female 
microcred 
it 
participa 
nt: 1=Y, 
O=N 


gender of ceo: 
1=M, @=F 
e 1 


e 3.13333 5.62977 
0.53 2.73 


1 4.6087 5.36364 
9.74 2.01 


Ejemplo 17. Comando contar 
(Count) 


El comando count, se utiliza para contar el número de observaciones en 


el conjunto de datos: 


. count 


El comando count, se puede usar con condiciones. Por ejemplo, el 
siguiente comando proporciona el número de pymes de base tecnológica 
(pbt) cuyos CEO tienen una edad de más de más de 50 años: 


. count if ageceo>50 


. count if ageceo>50 
181 
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Hasta ahora, la discusión se ha limitado a los comandos STATA que 
muestran información en el datos de diferentes maneras sin cambiar los 
datos. En realidad, las sesiones más frecuentes de su uso, implica hacer 
cambios en los datos (por ejemplo, crear nuevas variables o cambiar 
valores de variables existentes). Los siguientes ejercicios demuestran 
cómo esos cambios se puede incorporar en STATA. 


Ejemplo 18. Generando nuevas variables 

En STATA, el comando genérate (abreviado gen) crea nuevas variables, 
mientras que el comando replace cambia los valores de una variable exis- 
tente. Los siguientes comandos crean una nueva variable llamada oldceo 
y posteriormente, establecen su valor a una de las pymes con CEO de 
edad de más 50 años y a cero de lo contrario: 


. gen oldceo=1 if ageceo>50 


. gen oldceo=1 if ageceo>50 
(645 missing values generated) 


Command 


_ oldceo — 
1 


E 
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. replace oldceo=0 if ageceo<=50 


. replace oldceo=0 if ageceo<=50 
(645 real changes made) 


oldceo 


1 
0 
1 
0 
0 
0 
1 


Así, para cada observación, el comando gen verifica la condición 


(por ejemplo, si el CEO de la pyme de base tecnológica, tiene más de 
50 años) y establece el valor de la variable oldceo, uno para esa obser- 
vación, si la condición es verdadera o a valor perdido, de lo contrario. 
El comando replace funciona de manera similar. Después del comando 
generate, STATA indica que 645 observaciones no cumplieron con la 
condición, y después del comando replace STATA indica que esas 645 
observaciones tienen nuevos valores (cero en este caso). Vale la pena 
señalar los siguientes puntos: 


e Si se emite un comando gen o replace sin ninguna condición, ese 
comando se aplica a todo el archivo de datos. 

e Al usar el comando gen, se debe tener cuidado de manejar los 
valores faltantes correctamente. 

e El lado derecho del signo = en los comandos gen o replace puede 
ser Cualquier expresión que involucre nombres de variables, no 
solo un valor. Así, por ejemplo, el comando gen young = (ageceo 
<= 32) crearía una variable llamada young que tomaría el valor de 
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los CEO de pyme tecnológica que tengan 32 años o menos de edad 
(si la expresión entre paréntesis, es verdadera) y un valor de cero 
en caso contrario. 

e El comando replace, se puede usar para cambiar los valores de 
cualquier variable existente, independientemente del comando 
gen. 

e Una extensión del comando gen es egen. Al igual que el comando 
gen, el comando egen puede crear variables para almacenar esta- 
dísticas descriptivas, como: la media, suma, máximo y mínimo. 
La característica más poderosa del comando egen es su capacidad 
para crear estadísticas que involucran múltiples observaciones. 
Por ejemplo, el siguiente comando crea una variable avgage que 
contiene la edad promedio del CEO de cada pyme de base tecnoló- 
gica, del archivo pei_01.dta: 


. egen avgage=mean (ageceo) 


. egen avgage=mean (ageceo) 


_Comman A 
oldceo avgage 
40.76634 
40.76634 
40. 76634 
40. 76634 
40.76634 
40. 76634 
40. 756634 


” ssc ©re 8S 


Todas las observaciones en el conjunto de datos, obtienen el mismo 
valor para avgage. El siguiente comando crea las mismas estadisticas, 
pero esta vez para pymes de base tecnológica (pbt) de hombres y mujeres 
por separado: 
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. egen avgagemf=mean (ageceo), by (genceo) 


. egen avgagemf=mean (ageceo), by (genceo) 


command 
oldceo avgage  avgagemf 
40.76534 48.70304 
40.76634 
40.76534 40.70304 
40.76634 40.70304 
40.76634 40.70304 
40.76634 40.70304 
40.76534 49.70304 


A E E 


Ejemplo 19. Etiquetando variables 

(Labeling variables) 

Puede etiquetar a las variables para darles una descripción. Por ejemplo, 
la variable oldceo no tiene ninguna etiqueta ahora. Puede adjuntar una 
etiqueta a esta variable escribiendo: 


. label var oldceo “CEO is over 50: 1=Y, 0=N” 


mg meg 
4 idimi ira 
ocea 
Lobe sir ctcss "IE ia arar be) er, tar a 
mpap 
io Bei m iii COL ee A A r tml mmm] 
rill rua 
UPA rural 
¡$q___—__ ___—_—_—_ ama ‘MM I aO ral reai] 
Ee 0 
mp 
pr 


Ahora para ver lo nueva etiqueta, escriba lo siguiente: 


.des oldceo 
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, des eldcon 
Storage display value 
variable nasu type farant tabel variable label 
aldces float 8.89 Che La aver Ser Lar, fen 


| | 
seams O 


Ejemplo 20. Etiquetando variables 
(Labeling variables) desde barra de herramientas 
También, es posible corregir desde la barra de herramientas oprimiendo: 


Data Variables Manager: 


| 


re ame eee ee | EF 

ee eer La 5A g rre 

dpal e ride eT boo 

ee ede deel. dea Ly 

Dit ma are a ML — 

ee aay AA ku fig ae a 

pu ATA E y 

Jhi ee ee may, s 
mai hal he | Dy ET ==- 
bmi i ia hid n rie 

yond rial bn wis ll 
rar ind. ka MO a” 

a ha MED : 
— im i aidi ghian 

DARE CA AR A] TER 

ho m iz ma Ss 
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Hacer las modificaciones necesarias y oprimir el botón Apply para 
finalizar. 


Ejemplo 21. Etiquetando datos 
(Labeling data) 


Se pueden crear otros tipos de etiquetas. Para adjuntar una etiqueta a todo 
el conjunto de datos, teclee: 


. label data “Mexico’s small and medium enterprises based on 
technology” 


. label data "Mexico's small and medium enterprises based on technology” 


Para ver la etiqueta, teclee: 
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. des 
. des 


Contains data from /Users/DCA/Desktop/eval/data/pei_01.dta 


obs: 826 Mexico's small and medium 
enterprises based on 
technology 
vars: 27 14 Jun 2020 19:00 
size: 62,776 
storage display value 
variable name type format label variable label 
id long %12.0q ID 
year byte %8. 0g year of observation 
region byte %8. 0g village ID 
cluster byte %8. 0g idcluster 
ageceo byte %8. 0g age of ceo 
genceo byte %8 . 0g gender of ceo: 1=M, 0=F 
educeo byte %8.0g education of ceo: years 
smesize byte %8. 0g sme size based on personel 
smefac float %9., 0g sme assets based on facilities 
incinnov double %12.0g sme incinnov 
expopn float %9. 0g sme opn expenditure 
expinnov float %9. 0g sme innovation expenditure 
exptot float %9. 0g total expenditure 
dmmfd byte %8. 0g innovation male microcredit 
participant: 1=Y, 0=N 
dfmfd byte %8.0g innovation female microcredit 
participant: 1l=Y, 0=N 
weight float %9.0g innovation sampling weight 


—more— 


Observe que el conjunto de datos de pei_01.dta tiene el nombre de 
“Mexico's small and medium enterprises based on technology”, el cual 
permite asignar nombres al conjunto de datos. 


Ejemplo 22. Etiquetando valores de variables 

(Labeling values of variables) 

Las variables categóricas, como genceo (1 = hombre, 0 = mujer), pueden 
tener etiquetas que ayudan a recordar cuáles son las categorías. Por 
ejemplo, usando pei_08.dta, tabular la variable genceo muestra solo 
valores 0 y 1: 
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.tab genceo 
. tab gencao 
gender of 
ceo: 1=M, 
o=r req. Percent Cun, 
ð 104 9.21 9.21 
1 1,025 90.79 100.00 
Total 1,129 100.00 


Para adjuntar etiquetas a los valores de una variable, y volviendo a 
pei_01.dat, se deben hacer dos cosas: 


e Primero, definir una etiqueta de valor. 


Posteriormente, asigne esta etiqueta a la variable. Usando las 
nuevas categorías para genceo, teclee: 


. label define genlabel 0 “Female” 1 “Male” 


. label define genlabel 0 “Female” 1 “Male” 


Command 


. label values genceo genlabel 


» label values genceo genlabel 


Command 
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Ahora, para ver las etiquetas, escriba: 


. tab genceo 

. tab genceo 
gender of 
ceo: 1=M, 

OnF Freq. Percent Cun. 

“Fenale* 32 4.60 4.68 

"Hale 788 95.40 100.00 

Total 826 100.00 


dd year region cluster ageceo gentes 
1 11054 8 1 1 72 “Male” 
2 11061 a 1 1 5 “Male” 
3 11681 4 1 1 54 Male” 
k 11101 a 1 1 “u “ate” 
5 17071 o 2 1 za Male” 
6 12035 a 2 1 25 “Male” 


Si desea ver los valores reales de la variable genceo, que siguen siendo 
ceros y unos, puede agregar una opcion para no mostrar las etiquetas asig- 
nadas a los valores de variable. Por ejemplo, teclee: 


. tab genceo, nolabel 


- tab genceo, nolabel 


gender of 
ceo: 1=M, 


@=F Freq. Percent cum. 

o 38 4.60 4.60 

1 788 95.40 100.00 
Total 826 100.00 
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Ejemplo 23. Soltar variables asi como observaciones 

Las variables y observaciones de un conjunto de datos, se pueden selec- 
cionar mediante el uso de los comandos keep o drop. Suponga que tiene de 
la base de datos .dta seis variables: varl, var2,..., var6 y desea mantener 
un archivo con solo tres de ellos (por ejemplo, varl, var2 y var3). Así, se 
es posible usar cualquiera de los siguientes dos comandos: 


e “keep varl var2 var3” (or “keep varl-var3” si es este el orden 
deseado). 

e “drop var4 var5 var6” (or “drop var4-var6” si es edste e orde 
deseado). 


Tenga en cuenta el uso de un guión (-) en ambos comandos. Es una 
buena práctica, usar el comando que implica el menor tecleo posible 
de las variables (y, por lo tanto, tener menos riesgo de error). También 
es posible usar use operadores relacionales o lógicos. Por ejemplo, el 
siguiente comando muestra todos los ceo de pymes de base tecnológica 
(pbt) con edad de 80 años o más: 


drop if ageceo>=80 


. drop if ageceo>=80 
(0 observations deleted) 


Pci 


Y este comando, por ejemplo, mantiene esas observaciones donde 
el tamaño de la pyme de base tecnológica, es de seis o menos miembros: 


keep if smesize <=6 
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. keep if smesize <=6 
{221 observations deleted) 


Command 


Los dos comandos anteriores eliminan o mantienen todas las varia- 
bles según las condiciones. Así, no es posible incluir una lista de variables 
en un comando drop o keep que también utiliza condiciones. Por ejemplo, 
el siguiente comando provocará errores: 


keep id smesize if smesize<=6 


. Keep id smesize if smesize<=6 
invalid syntax 
r(198); 


Command 
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Para lograrlo, se utilizan dos comandos: 


keep if smesize<=6 


. keep if smesize<=6 
(0 observations deleted) 


keep id smesize 


. keep id smesize 


Variables 
Name Label 
id ID 
smesize sme size based on personel 


También, es posible usar la palabra clave del comando drop o keep. 
Por ejemplo, para soltar (drop) las primeras 20 observaciones: 


drop in 1/20 
. drop in 1/20 
(20 observations deleted) 
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Ejemplo 24. Produciendo graficos 

STATA es bastante eficiente en la producción de gráficos básicos, aunque 
requerirá de considerable experimentación, para producirlos más atrac- 
tivos. El siguiente comando muestra la distribución de la edad del ceo de 
las pymes de base tecnológica (pbt) en un gráfico de barras (histograma): 


histogram ageceo 


age ateo 


En muchos casos, la forma más fácil de producir gráficos es usando 
los menús; en esto caso, oprima Gráficos y posteriormente, en Histo- 
grama y siga las indicaciones. 


“Statistics User Windor 
Twoeay graph (scatter, line, atc.) 
Bar chart 
Dot chart 
Pie chart 


uad 
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Una manera facil de guardar un grafico es hacer clic derecho sobre 
él y copiarlo para pegarlo en un Microsoft Word o Documento de Excel. 

Aquí hay un comando para un diagrama de dispersión de dos 
variables: 


twoway (scatter educeo ageceo), ytitle(education of CEO) 
xtitle(age of CEO) title(education by age) 


m eee es 


a 


twoway (scatter educeo ageceo), ytitle(education of CEQ) 
xtitle(age of CEO) title(education by age) 


| 
= a 
a 
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5 TEA 5 a 
fo E AAA On - a = E 2. ë 
E a EE E E & E =E EE E = 
El O 05505 DREGE PUB UU 
- hee Fo ieee č å = o. a a 


z t TEET E HE ME E EH a 
a SS ht EERE BR BB He = un = 
= $ hie ok # wa = = = 
OM AAE EI a aA a 


2 5 BO ag 
age of ses 


337 


ANEXO. INTRODUCCION A STATA 


Ejemplo 25. Combinando archivos de datos 

La combinación de archivos de datos, se realiza cuando se necesita usar 
variables que se distribuyen en dos o más archivos. Como ejemplo de 
combinación, se tiene el archivo el pei_08.dta, el cual, se dividirá en dos 
conjuntos de datos, de tal manera que uno contiene una o más variables 
que la otra no y entonces y entonces los conjuntos de datos se combinarán 
para recuperar el pei_08.dta original. Así, se requiere abrir el archivo 
pei_08.dta, descartar las variables de participación del programa y guarde 
el archivo de datos como pei_98_1.dta, con los siguientes comandos: 


use “/Users/DCA/Desktop/eval/data/pei_08.dta”, clear 
drop dmmfd dfmfd 
save pel 98 1.dta, replace 
, use "/Users/DCA/Desktop/eval/data/pei_08.dta" 
. drop dmmfd dfmfd 
. save pei_98_1l.dta, replace 


(note: file pei_98_1.dta not found) 
file pei_98_1.dta saved 


Command 
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Si desea asignarle un nuevo nombre a este archivo (pei_98_1.dta) 
porque no desea cambie el pei_08.dta original de forma permanente. 
Ahora abra el pei_08.dta nuevamente. Esta vez, mantenga solo las varia- 
bles de participación. Guarde este archivo como pei_98_2.dta. 


use “/Users/DCA/Desktop/eval/data/pei_08.dta’, clear 
keep id dmmfd dfmfd 


save pei 98 2.dta,replace 
. use "/Users/DCA/Desktop/eval/data/pei_08.dta", clear 


. keep id dmmfd dfmfd 


. save pei_98_2.dta,replace 
file pei_98_2.dta saved 
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SA jd, — ee ae = ES 
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Como se observa, se mantiene la id de cada registro pyme de base 
tecnológica, además del resto de los campos. Esto es necesario, porque 
la combinación requiere al menos una variable de identificación común 
entre los dos archivos que se van a fusionar. Aquí id es esa variable 
común, entre los dos archivos. Ahora se tienen dos archivos de datos: uno 
contiene las variables de participación (pei_98_2.dta), y el otro no las 
tiene (pei_98_1.dta). Si necesita usar las variables de ambos archivos, 
tendrá que fusionar los dos archivos. Sin embargo, antes de fusionarlos, 
necesita asegurarse de que ambos archivos estén ordenados por la variable 
de identificación. Esto puede hacerse de la siguiente forma: 


use “/Users/DCA/Desktop/eval/data/pei_98_1.dta”, clear 
sort id 

save,replace 

use pei_98 2, clear 

sort id 

save,replace 


. use "/Users/DCA/Desktop/eval/data/pei_98_1.dta", clear 
. sort dd 


. save, replace 
file /Users/DCA/Desktop/eval/data/pei_98_1.dta saved 


» use pei_98_2, clear 
. sort id 


. save, replace 
file pei_98_2.dta saved 
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Ahora, se está listo para fusionar los dos archivos. Uno de los 
archivos, tiene que estar abierto (no importa cual archivo). Abra el archivo 
pei_98_1.dta y posteriormente, combine el archivo pei_98_2.dta con él, 
de la siguiente manera: 


use pei 98_1, clear 
merge 1:1 id using pei 98 2 
. use pel_98_1, clear 


+ Berge 1:1 id using pei_98_7 


Result # of obs. 
pot satched o 
natched 1,129 (_norge==3) 


ll 
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matched (3) 


matched (3) 
matched (3) 
matched (3) 
matched (3) 


En este contexto, pei_98_1.dta se denomina archivo maestro (master 
file, es el archivo que permanece en la memoria, antes de la fusión) y 
pei_98_2.dta se llama el archivo de uso (using file). Para ver cómo se 
hizo la operación de fusión, escriba el siguiente comando: 


tab merge 
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- tab _merge 


merge Freq. Percent Cum. 
matched (3) 1,129 100.00 100.00 
Total 1,129 109.00 


STATA crea una nueva variable _merge durante la operación de 
fusión. Una operación de tabulación a esta variable, muestra los dife- 
rentes valores de merge y, por lo tanto, el estado de la operación de 
fusión. Aunque en este caso, merge solo tiene un valor (3), puede tener 
hasta tres valores posibles, dependiendo de la naturaleza de la operación 
de fusión: 


e Un valor de 1 muestra el número de observaciones que provienen 
únicamente del archivo maestro. 

e Un valor de 2 muestra el número de observaciones que provienen 
únicamente del archivo que usa. 

e Un valor de 3 muestra el número de observaciones comunes en 
ambos archivos. 


El número total de observaciones en el archivo resultante, es la suma 
de estos tres frecuencias merge. En este ejemplo, sin embargo, cada 
observación pyme con base tecnológica, en el archivo pei_98_1.dta tiene 
una coincidencia exacta en el archivo pei_98_2.dta, por lo que merge = 
3 y no 1s o 2s (obviamente, porque los dos archivos se crean a partir de 
el mismo archivo). Pero en los ejemplos de la vida real, 1s y 2s pueden 
permanecer después de la fusión. Más a menudo, se requiere trabajar con 
las observaciones que son comunes en ambos archivos (_merge = 3), de 
la siguiente forma: 


keep 1f_merge=3 
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. keep if _merge==3 
(0 observations deleted) 


Command 


Además, es una buena práctica eliminar la variable merge del 
archivo de datos después de la fusión, con: 


drop merge 


Ahora, se tiene un archivo de datos que es idéntico a pei_98.dta en 
el contenido. 


Ejemplo 26. Haciendo apéndices en archivos 
(Appending data sets) 

Hace agregados a los archivos de datos, es necesario cuando se requiere 
combinar dos archivos que tienen las mismas (o casi las mismas) varia- 
bles, pero sus unidades de observación (por ejemplo, las pbt) son mutua- 
mente excluyentes Para demostrar la operación append (agregar), nueva- 
mente dividirá el archivo pei_98.dta. Esta vez, sin embargo, en lugar de 
descartar variables, retire algunos registros. Así, abra el archivo pei_98. 
dta, borre de 1 a 700 registros y guarde este archivo como pei_98_1.dta: 


use “/Users/DCA/Desktop/eval/data/pei_98.dta” 
drop in 1/700 

save pel 98 1.dta, replace 

sum 
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, use "/Users/DCA/Desktop/eval/data/pei_98.dta”, clear 


. drop in 1/700 
(700 observations deleted) 


. save pei_98_1.dta,replace 
file pei_98_1l.dta saved 


Variable Obs Mean Std. Dev. Min Max 


id 429 259977.1 35668.11 203163 323103 

year 429 1 0 1 1 
region 429 2.11655 .8836158 1 4 
cluster 429 25.77855 3.562513 20 32 
ageceo 429 45.82051 12.33387 20 95 


genceo 429 . 9067599 .2911081 6 1 
educeo 429 2.034965 3.304088 o 14 
smesize 429 5.407925 2.322992 1 18 
smefac 429 83.28788 290.4088 1 4208 
incinnov 429 235740.7 1355599 1  2.42e+07 


expopn 429 3769.862 1734.835 1149.456 15270.67 


A continuación, vuelva a abrir pei_98.dta pero mantenga las obser- 


vaciones 1 a 700 y guarde este archivo como pei_98_2.dta: 


use “/Users/DCA/Desktop/eval/data/pei_98.dta’”, clear 
keep in 1/700 

save pei 98 2.dta,replace 

sum 
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. use "/Users/DCA/Desktop/eval/data/pei_98.dta”, clear 


. keep in 1/700 
(429 observations deleted) 


. Save pei_98_2.dta,replace 
file pei_98_2.dta saved 


Variable Obs Mean Std. Dev. Min Max 
id 700 114809.2 59655.12 11054 203133 

year 700 1 0 1 iu 
region 700 2.217143 .9826785 1 4 
cluster 700 11.25286 5.962717 1 20 
ageceo 700 46.13 12.89271 18 88 
genceo 700 .9085714 .2884237 0 1 
educeo 700 2.49 3.568847 0 16 
smesize 700 5.234286 2.128752 1 18 
smefac 700 72.87588 124.4461 2 1090 
incinnov 700 106447.2 183288.6 1 1733076 


Ahora, tiene dos archivos de datos; ambos tienen variables idénticas 
pero diferentes pymes de base tecnológica (pbt). En esta situación, debe 
agregar (append) dos archivos. De nuevo, un archivo tiene que estar en 
la memoria (cuál, no importa). Abra pei_98_1.dta y posteriormente, 
agregue pei_98_2.dta. 


. use “/Users/DCA/Desktop/eval/data/pei_98_1.dta”, clear 
. append using pei_98 2 


Tenga en cuenta que no es necesario ordenar los archivos indivi- 
duales para la operación append (agregar), y STATA no crea ninguna 
variable nueva como _merge después de la operación de agregar. Se 
puede verificar que la operación de anexar se haya ejecutado correcta- 
mente emitiendo el conteo de STATA comando, que muestra el número 
de observaciones en el conjunto de datos resultante, que debe ser la suma 
de las observaciones en los dos archivos individuales (es decir, 1,129). 

La siguiente sección, discute el uso de dos tipos de archivos que son 
extremadamente eficientes en las aplicaciones de STATA. Uno alma- 
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cena los comandos y resultados de para su posterior revisión (archivos 
.log), y el otro, almacena comandos para ejecuciones repetidas más tarde 
(archivos do). Los dos tipos de archivos funcionan de forma interacti- 
vamente, lo cual es muy útil para depurar comandos y obtener mayor 
información de los datos. 


Ejemplo 27. Archivos .log 

(log files) 

A menudo, se desea guardar los resultados de los comandos STATA y 
también imprimirlos, lo cual es posible realizar del comando .log. Dicho 
archivo, se crea mediante la emisión de un comando log using (inicio de 
sesión) y cerrado por un comando log close; todos los comandos emitidos 
en el transcurso, así como los correspondientes a los resultados (excepto 
los gráficos), se guardan en el archivo .log. Por ejemplo, al utilizar pei_08. 
dta suponga que desea guardar solo la ejecución de la resumen educativo 
de los jefes por género familiar aquí son los comandos: 


use “/Users/DCA/Desktop/STATA logfiles/pei_08.dta 
log using educeo.log 

by genceo, sort: sum educeo 

log close 
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STATA crea un archivo de texto llamado educeo.log en el subdirec- 
totrio y guardando los resultados en ese archivo. Si desea que el archivo 
.log se guarde en una carpeta que no sea la carpeta actual, puede espe- 
cificar la ruta completa, dentrio del archivo .log. También puede usar la 
opción File—Log—Begin. 
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Así, se sugiere tener en cuenta las siguientes opciones: 


Si ya existe un archivo .log, puede reemplazarlo utilizando el 
comando: log using educeo.log o también utilizando los comandos: 
replace o append a una nueva salida con ingresar log using educeo. 
log, append. 
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e Sise desea mantener el archivo .log existente sin cambios, entonces 
puede cambiar el nombre de este archivo o el archivo en el comando 
de creación .log. 

e Si desea suprimir una parte de un archivo .log, puede emitir un 
comando lof off antes de esa parte, seguido de un comando log on 
para la sección que desea guardar. Debe cerrar el archivo .log antes 
de abrir uno nuevo; de lo contrario, recibirá un mensaje de error. 


Ejemplo 28. Archivos .do (.do files) 

Hasta ahora, se ha visto el uso interactivo de los comandos STATA, que 
es útil para la depuración comandos y obtener más información de los 
datos. Al escribir una línea de comando cada vez, y STATA procesa ese 
comando, muestra el resultado (si lo hay) y espera el siguiente mando. 
Aunque este enfoque tiene sus propios beneficios, el uso más avanzado 
de STATA implica ejecutar comandos en un lote, es decir, los comandos 
se agrupan y se envían juntos en lugar de uno a la vez. Si se encuentra 
usando el mismo conjunto de comandos repetidamente, puede guardar 
los comandos en un archivo y ejecutarlos juntos siempre que los nece- 
site. Estos archivos de comando se les conoce como archivos .do; son el 
equivalente STATA de las macros. Puede crear archivos .do al menos en 
tres formas: 


e La primera, es escribir simplemente los comandos en un archivo de 
texto, etiquetado como en nuestro ejemplo: educeo.do (el sufijo .do 
es importante), y ejecute el archivo usando do educeo en la ventana 
de comando STATA (STATA command window). 

e La segunda, oprima clic derecho en cualquier lugar de la ventana 
revisar STATA (STATA review window) para guardar todos los 
comandos que fuero utilizados de forma interactiva. El archivo en 
el que se guardaron, se puede editar y etiquetar y usar como un 
archivo .do. 
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e Tercero, utilice el Do-file editor incorporado en la barra de menú de 
STATA. 


Ea 


Stata/MP 14.1 — pei_08.dta 


emal € 2 E 


Log Viewer Graph Do-file Editor Data Editor Data Browser 


Los comandos se pueden escribir en el editor. 


Ejecute estos comandos resaltándolos y utilizando el icono apro- 
piado. Con tiempo y práctica, este procedimiento se convierte en 
una forma muy rápida y conveniente de trabajar con STATA. 


Aquí hay un ejemplo de un archivo .do: 


log using educeo.log 
use pei_98 

sort id 

save, replace 

sort genceo 

by genceo: sum educeo 
log close 


Las principales ventajas de usar archivos .do en lugar de escribir 
comandos línea por línea son replicabilidad y repetibilidad. Con un 
archivo .do, uno puede replicar resultados que fueron trabajados semanas 
o meses antes. Además, los archivos .do son especialmente útiles cuando 
los conjuntos de comandos deben repetirse, por ejemplo, con diferentes 
archivos de datos. 
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Por ejemplo: 


*This is a Stata comment that is not executed 
/*****This is a do file that shows some very useful 
commands used in do files. In addition, it creates a 
log file and uses some basic Stata commands ***/ 
#delimit ; 
set more 1; 
drop _all; 
cap log close; 
log using c:\eval\log\try.log, replace; 
use c:\eval\data\pei_98.dta ; 
describe ; 
list in 1/3 ; 
list id smesize educeo if genceo==0 & ageceo<45; 
summarize smesize; 
summarize smesize, detail; 
sum smesize educeo [aw=weight], d; 
tab genceo; 
tab educeo genceo, col row; 
tab educeo, summarize(ageceo); 
label define genlabel 1 “MALE” 0 “FEMALE”; 
label values genceo genlabel; 
tabulate genceo; 
label variable sexhead “Gender of Head: 1=M, 0=F”; 
save c:\eval\data\temp.dta, replace; 
#delimit cr 
use c:\eval\data\pei_01.dta 
append using temp 
tab year 
log close 
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La primera linea del archivo, es un comentario. STATA trata cual- 
quier linea que comience con un asterisco (*) como comentario y 
lo ignora. Puede escribir un comentario multilinea utilizando (/ *) 
como inicio del comentario, y finalizarlo con (* /). Los comentarios 
son muy útiles para fines de documentación y deben incluir al menos: 
el propósito general del archivo .do y la fecha y hora de la última 
modificación. Usted puede incluir comentarios en cualquier parte del 
archivo .do, no solo al principio. Así, de lo contenido, se recomienda 
tomar en cuenta : 


# delimit. Por defecto, STATA asume que cada comando termina con 
el comando retorno de carro (es decir, presionando la tecla Enter). 
Si acaso, un comando, es demasiado largo para quedar en una línea, 
puede extenderlo en más de una línea con este comando. El comando 
en el ejemplo, dice que un punto y coma (;) finaliza un comando. 
Cada comando siguiente el comando delimit tiene que terminar con 
un punto y coma. Aunque para este archivo .do particular, el comando 
#delimit no es necesario (todos los comandos son lo suficientemente 


cortos), se hace para explicar el comando con mayor claridad. 


set more 1. STATA, generalmente muestra los resultados por pantalla 
a la vez y espera para que el usuario presione cualquier tecla. Pero 
este proceso, pronto puede convertirse en una molestia si, después de 
dejar correr un archivo .do, tiene que presionar una tecla para cada 
pantalla hasta que finalice el programa. Este comando, muestra la 


salida completa saltando página tras página automáticamente. 


drop all. Este comando borra la memoria. 


cap log close. Este comando cierra cualquier archivo abiert ./og file. 
Si no hay alguno abierto, STATA lo ignora. 
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Ejemplo 29. Archivos .ado (.ado files) 

Los archivos .ado son programas STATA destinados a realizar tareas 
especificas. Muchos comandos STATA se implementan como archivos 
.ado (por ejemplo, el comando summarize). Para ejecutar dicho programa, 
simplemente escriba su nombre en la linea de comando. Los usuarios 
pueden escribir sus propios programas .ado para cumplir requisitos espe- 
ciales. De hecho, los usuarios de STATA y los desarrolladores escriben 
continuamente dichos programas, que a menudo estan disponibles a la 
gran comunidad de usuarios de STATA en Internet. Así, se usarán tales 
comandos a lo largo de los ejemplos sobre diferentes técnicas de evalua- 
ción de impacto. Por ejemplo, la técnica de propensión de coincidencia 
de puntaje (PSM.Propensity Score Matching) se implementa mediante un 
archivo .ado llamado pscore.ado. 


findit pscore 
STATA responde con una lista de implementaciones de programa 
.ado. Al hacer clic en uno de ellos dará sus detalles y presentará la opción 


de instalarlo. Cuando Stata instala un .ado, también instala los archivos 
de ayuda asociados. 
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A continuación se ofrece una parte del vocabulario usado en el campo 
de la evaluación de impacto social en la introducción de innovaciones. 
Se intentó mantener el enfasis en términos específicos, pero dado que 
los evaluadores operan en múltiples campos, el lenguaje empleado 
comprende no solo términos específicos sino también otros que provienen 
de la evaluación de impacto ambiental y de otros tipos de evaluaciones de 
impacto, así como también de otros sectores en los cuales esos especia- 
listas se desempeñan. Las descripciones, sin ser definiciones, se incluyen 
para ayudar a la comprensión de los conceptos. Pese a que muchas 
descripciones son originales (inspiradas a veces de múltiples fuentes), 
otras son de uso estándar y de empleo común en varios campos. 


Actividad. Medidas adoptadas o trabajo realizado a través del cual los 
insumos, como los fondos, la asistencia técnica y otro tipo de recursos 
que se movilizan para generar productos específicos, como el dinero 
gastado, los libros de texto distribuidos o el número de participantes en 
un programa de empleo. 

Acuerdo de desarrollo. Concepto muy similar al del Acuerdo de 
Impactos y Beneficios (AIB) pero, en vez de comunitario constituir un 
acuerdo bilateral entre una empresa y una comunidad, que es lo que el 
AIB tiende a ser, podría ser iniciado por un gobierno. 

Acuerdo de participación. Véase Acuerdo de impactos y beneficios. 
Acuerdos comunitarios. Véase Acuerdo de impactos y beneficios 
(Community agreements). 

Acuerdos de impactos y beneficios (IAB). Acuerdos vinculantes entre 
una empresa y una comunidad (a veces también interviene el gobierno) 


355 


GLOSARIO 


que esboza los impactos negativos probables que un proyecto creará, los 
esfuerzos de mitigación que una empresa llevará a cabo, y el alcance de 
las contribuciones que la empresa proporcionará a la comunidad en forma 
de empleos y otros beneficios, como en inversión social. 

Adquisiciones locales. Se refiere a las políticas y estrategias deliberadas 
de las empresas que les permiten aprovisionarse de bienes y servicios a 
partir de proveedores locales, de modo de intensificar los beneficios del 
proyecto para la comunidad local. 

Afrenta cultural. Acto deliberado que insulta u ofende profundamente, 
como la violación o profanación de sitios sagrados, o la rotura deliberada 
de tabúes u otras costumbres culturales significativas. 

Agravio (Grievance). Toda inquietud percibida que suscite en un indi- 
viduo o grupo el sentido de tener derechos o de haber sido agraviado, 
sobre la base de la ley, de un contrato, de promesas explícitas o implícitas, 
de prácticas habituales o de conceptos generales de equidad. 

AIPP (IAP2) Asociación Internacional para la Participación Pública 
www.iap2.org. 

Alienación. Concepto de las ciencias sociales que refiere a los procesos 
sociales que alienan a los individuos (los convierte en extranjeros o 
extraños). El resultado de la alienación es una falta de pertenencia y se 
experimenta una desconexión, falta de sentido, impotencia y falta de 
agencia. Así, es un proceso que repercute severamente en el bienestar 
mental (y a la larga, en la salud física) de los individuos afectados. Se 
manifiesta en aislamiento social, desesperación, depresión médica y una 
variedad de otros comportamientos relacionados con la salud. 

Análisis de costo-beneficio. Estima los beneficios totales previstos de un 
programa, en comparación con sus costos totales previstos. Su fin es cuan- 
tificar todos los costos y beneficios de un programa en términos moneta- 
rios y evaluar si los beneficios superan a los costos. Método económico 
que evalúa alternativas para un negocio usualmente mediante la deter- 
minación del ratio de beneficios con respecto a los costos. En décadas 
pasadas, se empleaba extensamente en las evaluaciones de impacto, pero 
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no tanto en las de impacto social porque intenta representar todos los 
impactos únicamente en términos monetarios. 

Análisis de costo-efectividad. Compara el costo relativo de dos o más 
programas o alternativas de programa en términos de alcanzar un resul- 
tado común, como la producción agrícola o las calificaciones de los 
alumnos en los exámenes. 

Análisis de género. Un proceso utilizado para examinar y comprender 
las implicancias de género de una intervención planeada dirigida a las 
mujeres como asimismo a los hombres, en el contexto cultural de las 
comunidades afectadas. Un análisis de género debería observar el sexo y 
las diferencias de género. 

Análisis FODA. Considera las fortalezas, oportunidades, debilidades y 
amenazas de una organización o comunidad. 

Análisis de regresión. Método estadístico para analizar las relaciones 
entre una variable dependiente (la variable que se debe explicar) y varia- 
bles explicativas. El análisis de regresión normalmente no es suficiente 
para capturar los efectos causales. En la evaluación de impacto, el análisis 
de regresión es una manera de representar la relación entre el valor de 
un indicador de resultado Y (variable dependiente) y una variable inde- 
pendiente que captura la asignación al grupo de tratamiento o grupo de 
comparación, mientras se mantienen constantes otras características. 
Tanto la asignación al grupo de tratamiento y de comparación como las 
demás características son variables explicativas. El análisis de regresión 
puede ser univariante (si hay solo una variable explicativa; en el caso de 
la evaluación de impacto, la única variable explicativa es la asignación 
al grupo de tratamiento o de comparación) o multivariante (si hay varias 
variables explicativas). 

Análisis de sensibilidad. Trata de la sensibilidad del análisis ante los 
cambios en los supuestos. En el contexto de los cálculos de potencia, 
contribuye a comprender cuánto tendrá que aumentar el tamaño reque- 
rido de la muestra bajo supuestos más conservadores (como un menor 
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impacto esperado, una mayor variación en el indicador de resultado o un 
nivel más alto de potencia). 

Antiguos terrenos. Hace referencia al proyecto que tiene lugar en un 
sitio en el que hubo otros proyectos industriales anteriormente y donde es 
necesario abordar problemas heredados. 

Arraigo a un lugar. Hasta qué punto un individuo tiene sentimientos 
positivos con respecto a su entorno o comunidad local. 

Área de influencia. En una evaluación de impacto ambiental (EIA), 
es el área física (y componentes tales como aire, agua, suelo) sobre la 
cual un proyecto produce impactos (incluso abiótico, biótico y socioe- 
conómico) causados por un proyecto (y sus actividades asociadas). Por 
tanto, comprende no solo el área de la superficie de tierra pero también el 
funcionamiento de todo ecosistema marino y terrestre, cuencas atmosfé- 
ricas y cuencas hidrográficas o hidrológicas, y todos los agrupamientos 
sociales de individuos, comunidades, empresas (especialmente pequeñas 
y medianas empresas), organizaciones y entidades de gobierno. (Véase 
Área de influencia social) 

Área de influencia social. Término cuyo significado es prácticamente 
el mismo que el de área de influencia pero que enfatiza los impactos 
sociales del proyecto. Dada la movilidad de las personas y el alcance 
de los impactos sociales, el área de influencia social probablemente sea 
mucho más amplia en área física que el área física de influencia. 
Arraigo. Es estar fuertemente integrado en la comunidad local, enrai- 
zado, como un árbol que tiene raíces. El arraigo, un componente del 
apego al lugar junto con el sentido de pertenencia, se refiere a los vínculos 
sociales de una persona (capital social) con otros miembros de la comu- 
nidad, por ejemplo, el tener parientes en ella, tener amigos de larga data, 
tener amigos íntimos, etc. 

Artesanal. Trabajar con las manos. Un artesano es una persona con habi- 
lidad para hacer artesanías. A menudo se aplica a mineros de pequeña 
escala o a pescadores de subsistencia. 
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Asalariados ingreso fijo. Se refiere a aquellas personas cuyos ingresos 
(provenientes de trabajos o pensiones) son, es decir que no son objeto 
de ajuste por cuestiones de inflación o costo de vida. Las ciudades en 
auge habitualmente tienen una inflación localizada. Aunque las personas 
vinculadas con el proyecto reciben en pago una cantidad de dinero sufi- 
ciente como para hacer frente a los aumentos del costo de vida (que son 
por lo general la causa de la inflación), mucha gente percibe ingresos 
que no se ajustan a los niveles locales de inflación. Esta gente incluye 
no sólo jubilados, sino también personas con salarios que son fijados a 
nivel nacional, como enfermeros, docentes, policías y otras personas que 
trabajan en el gobierno. 

Asentamientos informales. Asentamientos que se desarrollan informal- 
mente, esto es, sin planificación adecuada y por lo general en violación 
de los códigos de construcción y planeamiento, usualmente en tierras 
para las cuales los residentes no tienen títulos de propiedad. A menudo 
se emplean materiales desechados para construir viviendas temporarias. 
Asignación aleatoria o ensayo controlado aleatorio. Método de evalua- 
ción de impacto por el cual cada unidad elegible (por ejemplo, un indi- 
viduo, un hogar, una empresa, una escuela, un hospital o una comunidad) 
tiene la misma probabilidad de ser seleccionada para ser tratada en un 
programa. Con un número suficientemente grande de unidades, el proceso 
de asignación aleatoria garantiza la equivalencia tanto en las caracterís- 
ticas observables como no observables entre el grupo de tratamiento y el 
grupo de comparación, y así se descarta cualquier sesgo de selección. La 
asignación aleatoria se considera el método más robusto para estimar los 
contrafactuales y se le suele considerar como la regla de oro de la evalua- 
ción de impacto. 

Autodeterminación. Uno de los derechos humanos designados que 
pertenece a grupos (y no a individuos) y que establece que todos los 
pueblos deben poder determinar libremente su condición política y perse- 
guir libremente su desarrollo económico, social y cultura. 
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Autoridad competente. Toda persona u organización que tiene la auto- 
ridad, capacidad o facultad, asignada por ley o investida, de llevar a cabo 
una función determinada. En términos de una evaluación de impacto 
social para introducción de innovaciones de lo ambiental en general 
refiere a la autoridad que otorga la licencia ambiental. (Véase también 
Organismo regulador). 


Beneficiarios. El estado social, económico, psicológico, espiritual o de 
salud de un individuo o grupo. 

Bienestar subjetivo. Experiencia personal de la vida de uno, nivel de 
satisfacción con la vida de uno, cuán feliz la gente se siente en general 
sobre su vida en conjunto. 

Buena gobernanza. Una interpretación normativa de cómo debería 
producirse la gobernanza (de cualquier institución), lo cual incluye un 
compromiso con la responsabilidad, la transparencia, el imperio de la ley, 
la creación de capacidad, un proceso inclusivo y participativo. 

Buena práctica. Lo que se considera habitualmente apropiado y esperado 
(es decir, convencional más que vanguardista) en un área. En cambio, 
mejores prácticas quiere decir vanguardista o líder, y por ende adecuado 
para propugnar, pero no es de esperarse en todas las circunstancias. 


Cadena de resultados. Establece la lógica causal del programa expli- 
cando cómo se logra el objetivo de desarrollo. Articula la secuencia 
de insumos, actividades y productos que se espera que mejoren los 
resultados. 

Cálculos de potencia. Método para determinar cuál es el tamaño de la 
muestra requerida para que una evaluación de impacto estime con preci- 
sión el impacto de un programa, es decir: la muestra más pequeña que 
permitirá detectar el efecto mínimo detectable. Los cálculos de potencia 
dependen de parámetros como la potencia (o la probabilidad de un error 
de tipo II), el nivel de significancia, la media, la varianza y la correlación 
intra-clústers de los resultados de interés. 
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Calidad de vida. El bienestar general de un individuo, que difiere del 
estándar de vida en cuanto a que comprende todas las dimensiones no 
económicas, subjetivas, de la vida. 

Capacidad de carga social. Se refiere a la cantidad de personas que un 
lugar en particular puede sostener. Mientras que la capacidad de carga 
(ecológica) es un término adecuadamente establecido en ecología, la capa- 
cidad de carga social es un término raramente empleado por los profesio- 
nales de las ciencias sociales. Los encargados de los parques hablan de 
capacidad de carga social para referirse a la cantidad de turistas que ellos 
creen que sus parques pueden recibir, y en el ámbito del turismo existe un 
concepto de capacidad de carga social como la cantidad de turistas que 
una atracción turística específica (sitio, localidad, región, cultura) puede 
manejar con comodidad. 

Capital humano. La educación, destrezas, conocimiento, habilidad para 
trabajar y salud que, en conjunto, permiten que las personas persigan sus 
medios de vida objetivos. (Véase también Capitales) 

Capital social. Los recursos sociales de los cuales se sirven las personas 
en pos de alcanzar sus objetivos de subsistencia, lo cual incluye sus redes 
y la amplitud de sus conexiones y sus relaciones de confianza, recipro- 
cidad e intercambio que facilitan la cooperación, reducen los costos de 
transacción y conforman la base de las redes de seguridad informales. 
Incluye las instituciones, relaciones, actitudes, valores y valores compar- 
tidos y reglas de conducta social que rigen las interacciones entre las 
personas y contribuyen al desarrollo económico y social. 

Capitales. El marco de referencia para considerar la sostenibilidad y el 
logro de resultados de desarrollo en términos de activos (o capitales), tal 
como el capital natural, capital humano, capital social, capital financiero, 
capital manufacturero, y a veces capital político e institucional, y capital 
cultural y espiritual. Hay varios enfoques que usan los capitales como 
elemento central, entre los cuales se encuentra el enfoque de los medios 
de subsistencia sostenibles. 
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Captura por la élite. Una situación en la cual los recursos que estaban 
previstos en beneficio de la mayoría de la población son usurpados 
(capturados) por un pequeño grupo de ricos y poderosos que son parte de 
la sociedad, una elite económica, política, educativa o étnica. 

Carácter irremediable. Daño irreparable, impactos negativos que no 
pueden ser mitigados ni remediados. 

Carácter irreparable. Que no puede ser reparado. 

Censo. Empadronamiento total de una población. Los datos censales 
abarcan todas las unidades de la población. Compárese con muestra. 
Cerco perimetral. La delimitación que se extiende alrededor del empla- 
zamiento de un proyecto. Se la utiliza con el propósito de diferenciar 
entre cuestiones internas y cuestionesexternas. No obstante, aunque esto 
pueda resultar obvio en el sentido técnico, no es un término claro, y en 
términos de cuestiones de derechos sociales y humanos es irrelevante. 
CFI. Corporación Financiera Internacional (International Finance 
Corporation), el brazo del Grupo del Banco Mundial para el financia- 
miento del sector privado. Es de particular importancia ya que sus están- 
dares de desempeño se convirtieron en referencia internacional y son la 
base de los Principios de Ecuador. 

Ciencia abierta. Movimiento cuyo fin es elaborar métodos de investiga- 
ción más 

transparentes, mediante el registro de los ensayos, la utilización de planes 
de preanálisis, documentación de datos y registros. 

Ciudad de crecimiento rápido. Una comunidad, pueblo o ciudad que 
experimenta un crecimiento excesivamente rápido. 

Ciudad industrial Un asentamiento en el cual la gran mayoría de las 
personas trabaja para la misma empresa o por lo menos en una de las 
muchas empresas que operan en el mismo proyecto. 

CLPI (FPIC). Consentimiento libre, previo e informado (véase el desa- 
rrollo del tema al respecto en el presente documento). 

Clúster. También llamado conglomerado. Grupo de unidades que pueden 
compartir características similares. Por ejemplo, los niños que asisten a 
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la misma escuela pertenecen a un mismo cluster porque comparten el 
mismo centro escolar, los mismos profesores y viven en el mismo barrio. 
Cohesión comunitaria. Se refiere al sentido de armonía en un lugar (área 
rural, pueblo o ciudad), que se puede establecer por los niveles de: acep- 
tación y valoración de la diversidad social, sentido compartido de perte- 
nencia en todos los grupos, una visión e imagen ampliamente aceptada 
del lugar, oportunidades en la vida y acceso a servicios razonablemente 
similares, y relaciones sociales positivas entre las personas de diferentes 
contextos. 

Coincidencia (Matching). Método no experimental de evaluación de 
impacto que utiliza grandes bases de datos y técnicas estadísticas para 
construir el mejor grupo de comparación posible para un determinado 
grupo de tratamiento sobre la base de características observables. 
Communitas. Término en latín de las ciencias sociales que significa un 
fuerte sentido de comunidad, especialmente el que se construye a través 
de la participación en ritos o celebraciones comunitarias. 
Comoditización. Procesos por los cuales la cultura local y los objetos 
de la cultura local se convierten en mercancías (commodities) y por lo 
tanto tradiciones religiosas, costumbres y festivales del lugar se reducen a 
conformar las expectativas de aquellos que los adquieren. Es un concepto 
que proviene de los impactos sociales del turismo, pero puede ocurrir 
en cualquier situación donde una cultura local entra en contacto con un 
grupo acaudalado de extranjeros. 

Comparación antes y después. También conocida como comparación 
previa posterior o comparación reflexiva. Se trata de un seguimiento de 
los cambios en los resultados para los beneficiarios del programa a lo 
largo del tiempo, utilizando mediciones antes y después de la implemen- 
tación del programa o la política, sin utilizar un grupo de comparación. 
Comparaciones de inscritos y no inscritos. También conocidas como 
comparaciones autoseleccionadas. Esta estrategia compara los resultados 
de las unidades que decidieron inscribirse y las unidades que decidieron 
no inscribirse en un programa. 
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Complicidad. Palabra empleada en el ámbito de los derechos humanos. 
Las empresas no deben ser cómplices de violaciones de derechos 
humanos por parte de terceros. La complicidad comprende cualquiera de 
las siguientes situaciones: causa o contribuye a la violación de derechos 
humanos a través del permiso, agravamiento o facilitamiento de aquel; 
saber o deber haber sabido que las violaciones de derechos humanos 
probablemente ocurrieran a partir de su conducta; y estar próximo a la 
violación de derechos humanos ya sea geográficamente o a través de la 
fuerza, duración o tono de sus relaciones. 

Compromiso comunitario. Término que abarca las muy diversas 
maneras en que las personas interactúan con los procesos de toma de 
decisiones y participan en estos. Es similar a la “participación pública” y 
a “intervención pública”, por lo que a menudo estos términos se emplean 
indistintamente. No obstante, el compromiso comunitario es el que se 
prefiere actualmente ya que pone énfasis en un grado mayor de parti- 
cipación o compromiso en el proceso de toma de decisiones y mayor 
respeto por las personas. También se vincula con un discurso diferente y 
representa el desarrollo de la comprensión en la transición de la consulta 
al empoderamiento. 

Comunidad. Concepto de uso común pero disputado que puede apli- 
carse a diferentes niveles, si bien en general refiere a la agrupación de 
personas en un lugar determinado y que se presume comparten un sentido 
de identidad y algunas interacciones de la vida diaria, y tienen algunas 
instituciones sociales y políticas comunes. Si bien los individuos expe- 
rimentan impactos sociales a un nivel personal, para la evaluación de 
impacto social para la introducciónde innovaciones las personas viven, 
trabajan y juegan en agrupamientos sociales llamados comunidades, lo 
que por lo tanto los hace el foco principal de las dichas evaluaciones. 
Comunidades a ambos lados del cerco perimetral. Las comunidades 
que se encuentran en la vecindad inmediata del proyecto y que son parti- 
cularmente vulnerables a los impactos directos del proyecto, tal como 
ruido, polvo y vibraciones. 
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Comunidades afectadas. Aquellas comunidades (y comunidades anfi- 
trionas) que reciben el impacto de un proyecto. 

Comunidades anfitrionas. Aquellas comunidades que se encuentran 
cerca de los emplazamientos de los proyectos, que albergan el proyecto 
y sus trabajadores, dicho de otro modo, las comunidades que reciben el 
impacto. En la planificación de reasentamientos, se refiere a las comuni- 
dades existentes que absorberán las personas que están siendo reubicadas. 
Condicionalidades. En asistencia al desarrollo, se refiere a las condi- 
ciones que acompañan a un préstamo, alivio de deuda o ayuda bilateral; 
en licenciamiento ambiental, se refiere a las condiciones de la licencia. 
Conflicto latente. Conflicto que está latente, oculto o encubierto en una 
comunidad. El personal del proyecto podría no notar la presencia de 
tensión en una comunidad. 

Conocimiento indígena. Véase Conocimiento local. 

Conocimiento local. El conocimiento que la gente de una localidad 
o comunidad dada ha desarrollado con el tiempo y que seguirá desa- 
rrollando. Hace referencia a la recopilación de hechos y sistemas de 
conceptos, creencias y percepciones que las personas tienen con respecto 
al mundo que los rodea. Incluye también la manera en que las personas 
observan y miden su entorno, cómo resuelven problemas y convalidan la 
información. Se emplean una amplia variedad de términos: conocimiento 
indígena, conocimiento técnico indígena, conocimiento tradicional, 
conocimiento ecológico tradicional o conocimiento medioambiental 
tradicional y conocimiento de los aborígenes. 

Conocimiento tradicional. Véase Conocimiento local. 
Consentimiento. Otra palabra para expresar que se está de acuerdo con 
algo. También puede significar tener la facultad de poder dar o retirar la 
aprobación para un proyecto. Así, un organismo regulador debe deter- 
minar las condiciones del consentimiento. En algunas circunstancias, las 
personas del lugar también podrían tener la habilidad de dar o retirar su 
consentimiento para un proyecto (véase CLPI). El concepto de consenti- 


miento está altamente asociado con la confianza. Un evaluador de impacto 
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social a menudo puede crear consenso para un proceso de evaluación de 
impacto social para introducción de innovaciones (o para el proyecto), 
para lo cual muestra que existe un problema que debe abordarse, que una 
gran variedad de grupos están abordándolo y que el proceso para resolver 
el problema es justo. 

Consentimiento informado. El principio ético más básico para llevar 
a cabo investigación con humanos; en esencia, que el participante en la 
investigación tiene derecho a decidir si quiere participar o no, y que para 
tomar esa decisión debe basarse en información completa sobre la inves- 
tigación y los posibles riesgos que conlleva. El consentimiento informado 
a menudo se lo registra mediante la firma del participante en un formulario 
a tal efecto. Los especialistas en evaluación de impacto social para intro- 
ducción de innovaciones deben recibir el consentimiento informado de 
los participantes en la recolección de datos para la evaluación de impacto 
social para introducción. Uno de los fundamentos de la protección de 
los derechos de los sujetos humanos. En el caso de las evaluaciones de 
impacto, requiere que los encuestados comprendan claramente los fines, 
procedimientos, riesgos y beneficios de la recopilación de datos en la que 
se les pide participar. 

Consulta pública, intervención pública, participación pública y com- 
promiso comunitario. Si bien a menudo se emplean indistintamente, 
existen distinciones importantes. Se puede decir que intervención pública 
es un concepto genérico relacionado a los procesos o que implica al 
público en los procesos de toma de decisiones. Consulta implica pedir las 
opiniones de la comunidad, mientras que participación implica realmente 
que el público colabora en el proceso de toma de decisiones. 

Contenido local. Se refiere a la exigencia, expectativa o compromiso de 
una empresa para asegurar que el valor quede retenido en el ámbito local 
a través del empleo o del aprovisionamiento. 

Contrafactual. Valor que habría tenido el resultado (Y) para los parti- 
cipantes del programa sino hubieran participado en el programa (P). Por 
definición, el contrafactual no se puede observar. Por lo tanto, debe esti- 
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marse utilizando un grupo de comparacion. En psicologia, refiere a una 
representación mental o imagen de una trayectoria alternativa, pasada o 
futura, como manera de concebir otras posibilidades para lo realmente 
ocurrido. Así, se permite a los individuos procesar sus sentimientos sobre 
eventos pasados (como en relación a la culpa, remordimiento, arrepenti- 
miento, y preocupaciones de tipo ¿por qué a mi?, etc.) y también como 
forma de aprender a partir de las experiencias. Este aprendizaje se puede 
formalizar en un análisis de escenarios. En el ámbito de una evaluación, 
sin embargo, tiene un significado diferente: se refiere a la comparación 
entre lo realmente ocurrido y lo que podría haber ocurrido en ausencia de 
intervención. 

Correlación. Medida estadística que indica hasta qué punto dos o más 
variables fluctúan juntas. 

Correlación intra-clústers. También conocida como “correlación intra- 
clase”. Se trata del nivel de similitud en los resultados o características 
entre las unidades de los grupos previamente existentes o clusters en rela- 
ción con unidades de otros clústers. Por ejemplo, los niños que asisten a 
la misma escuela normalmente serían más similares o estarían más corre- 
lacionados en términos de sus zonas de residencia o antecedentes socioe- 
conómicos, en comparación con niños que no asisten a esa escuela. 
Cosmología. La creencia sobre el origen, la historia, la evolución y las 
leyes culturales relacionados con el cosmos o universo en una cultura 
particular o sistema mitológico. 

Cosmovisión. La perspectiva a través de la cual una persona (y a veces 
una sociedad o cultura) concibe su mundo; en otras palabras, un marco de 
referencia cognitivo. Es un término frecuentemente empleado por espe- 
cialistas en ciencias sociales y especialistas en evaluación de impacto 
social para la introducción de innovaciones. 

Costo de remplazo. Un concepto de la economía y los seguros que se 
refiere al costo total de reemplazar un activo. La valorización de los 
activos destruidos por un proyecto con fines de indemnización puede 
resultar controvertida. Los peritos tasadores de las compañías de seguros 
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hacen uso frecuentemente del valor depreciado de un activo. En el reasen- 
tamiento y el desplazamiento inducido por un proyecto, deberia cubrirse 
el costo total de reemplazo de modo de asegurar que no se empeora la 
situación de las personas. 

Cribado. Un proceso de selección para determinar si es necesaria una 
evaluación de impacto y, si así fuera, qué tipo de evaluación debería 
realizarse. En un entorno regulatorio, esto se especifica en las reglamen- 
taciones aplicables. Aunque no se emplea siempre de esta manera, el 
término podría aplicarse de manera más general a la determinación de 
los requisitos que deben cumplirse, o a los procedimientos que deben 
seguirse, que están implícitos en los procedimientos de las empresas, la 
legislación nacional e internacional, y/o las exigencias de los socios finan- 
cieros, especialmente cuando tienen participación el Banco Mundial, la 
CFI y los Principios de Ecuador. 

Cuenta de depósito en garantía. Se refiere a sumas de dinero retenidas 
en concepto de garantía por parte de un tercero, de conformidad con 
los términos de un acuerdo, y que son liberadas una vez que se hayan 
cumplido las condiciones del acuerdo y/o con el consentimiento de las 
partes contratantes y/o mediante una orden judicial u otra acción legal. 
Cuestiones heredadas. El significado general de herencia es algo que 
se deja, como cuando una persona muere (lo que deja a otras personas 
en su testamento), o cuando se jubila de su trabajo (cuando han creado 
valor o han hecho un desastre); pero también puede referirse a lo que una 
empresa o proyecto deja. Aunque la palabra pueda ser neutra/de doble 
interpretación y pueda significar una situación positiva y la contribución a 
los resultados del desarrollo, en la evaluación de impacto social (EIS), por 
lo general, hace referencia al desorden (problema) dejado por proyectos 
anteriores. En el sector extractivo, se refiere mayormente a la polución 
y la contaminación que queda, tal como el drenaje ácido de las minas. 
Es importante observar que las cuestiones heredadas de otros proyectos 


afectan la confianza de la comunidad para aceptar un nuevo proyecto. 
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Cultura. Aspectos materiales y no materiales de una forma de vida que 
se moldean y transmiten entre los miembros de una comunidad o de una 
sociedad mayor. A veces se la denomina creencias, valores, normas, 
comportamientos, lengua y objetos materiales compartidos que pasan de 
una generación a la siguiente. 

Cumplimiento. Fenómeno que se produce cuando las unidades adhieren 
a su asignación como parte del grupo de tratamiento o del grupo de 
comparación. Significa cumplir con la ley y todo reglamento que regule 
la actividad. En el contexto de una evaluación de impacto, se refiere al 
grado de cumplimiento de las condicionalidades para el licenciamiento 
del proyecto. En general, se espera que exista una auditoría periódica o 
un monitoreo para garantizar el cumplimiento. 

Cumplimiento imperfecto. Discrepancia entre el estatus de tratamiento 
asignado y la condición de tratamiento real. Se produce cuando algunas 
unidades asignadas al grupo de comparación participan en el programa, o 
cuando algunas unidades asignadas al grupo de tratamiento no participan. 


Datos administrativos. Datos recopilados asiduamente por organismos 
públicos o privados como parte de la administración de un programa, 
normalmente con frecuencia periódica y a menudo en el lugar de la pres- 
tación de servicios, e incluyen los servicios prestados, los costos y la 
participación en el programa. Los datos de monitoreo constituyen un tipo 
de datos administrativos. 

Datos de encuesta. Datos que cubren una muestra de la población de 
interés. Compárese con censo. 

Datos de monitoreo. Datos provenientes del monitoreo del programa que 
proporcionan información esencial a propósito de la prestación de una 
intervención, e incluyen quiénes son los beneficiarios y qué beneficios o 
productos del programa pueden haber recibido. Los datos de monitoreo 
constituyen un tipo de datos administrativos. 
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Deber de diligencia. Una obligación de adoptar un cuidado razonable 
para evitar causar un perjuicio previsible a otra persona o a sus bienes. 
Un especialista en la evaluación de impacto social para la introducción 
de innovaciones tiene el deber de diligencia profesional con respecto al 
cliente y una responsabilidad ética hacia la comunidad, a fin de asegurar 
que se hayan planteado todas las cuestiones apropiadas. 

Debida diligencia. En términos generales, es la investigación que una 
persona o empresa realizaría antes de celebrar un contrato o antes de 
realizar una adquisición, especialmente en situaciones en las que pueden 
existir riesgos. En el ámbito de la evaluación de impacto social para la 
introducción de innovaciones), refiere prácticamente al mismo concepto 
excepto que con mayor referencia al Principio 17 de los Principios rectores 
de las Naciones Unidas sobre las empresas y los derechos humanos que 
afirma que “con el fin de identificar, prevenir, mitigar y responder de las 
consecuencias negativas de sus actividades sobre los derechos humanos, 
las empresas deben proceder con la debida diligencia en materia de dere- 
chos humanos. Este proceso debe incluir una evaluación del impacto real 
y potencial de las actividades sobre los derechos humanos, la integra- 
ción de las conclusiones, y la actuación al respecto; el monitoreo de las 
respuestas y la comunicación de la forma en que se hace frente a las 
consecuencias negativas ”. 

Debida diligencia en materia de derechos humanos. Se entiende el 
objetivo de los Principios Rectores de las Naciones Unidas sobre las 
Empresas y los Derechos Humanos de que las empresas deben adoptar un 
proceso de debida diligencia para garantizar que una acción, transacción o 
adquisición comercial propuesta no oculte riesgos en materia de derechos 
humanos (en otras palabras, riesgos para las personas y comunidades, no 
únicamente riesgos para la empresa). Dado que muchos impactos sociales 
también son impactos de derechos humanos, los actores afectados son 
titulares de derechos jurídicos. 
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Declaración de impacto ambiental (DIA). Documento formal elabo- 
rado por una evaluación de impacto ambiental que se presenta ante la 
autoridad competente. 

Declaración de impacto social. El equivalente a una Declaración de 
Impacto Ambiental en el marco de una evaluación de impacto social para 
la introducción de innovaciones, un documento formal que se presenta 
ante una entidad reguladora. 

Déficit de gobernanza. Existen muchos tipos de déficits de gobernanza, 
pero en general se refieren a la diferencia entre la práctica ideal (o al 
menos lo que debería esperarse normalmente como correcto) y la práctica 
real de la gobernanza. En la evaluación de impacto y los discursos de 
empresas y de la sociedad, el déficit tiende a referirse a la falta de obser- 
vación de las actividades de las empresas multinacionales en los países 
en desarrollo. 

Deliberación. (Y estado deliberativo) Un concepto multidimensional 
que puede definirse como un diálogo destinado a inducir una reflexión 
profunda (es decir, un análisis serio) acerca de las opciones y posibili- 
dades, de manera abierta e inclusiva (o sea, sin la intrusión del poder o 
de la política), y que contemple las inquietudes de todas las partes inte- 
resadas. 

Denuncia y descrédito. Se refiere a una estrategia que intenta lograr 
un compromiso o el cumplimiento de las normas o buenas prácticas 
previstas haciendo públicos los nombres de los infractores o delincuentes. 
A menudo se la contrasta con saber y hacer saber. 

Dependencia a un lugar. Similar al apego a un lugar pero se emplea 
para destacar el alcance de la dependencia o atadura a un lugar determi- 
nado, que lo imposibilita de moverse y por lo tanto lo hace vulnerable a 
cambios. 

Dependencia económica. Una situación en la cual una comunidad local 
o una región dependen fuertemente de una empresa o industria. Dicho de 
otro modo, cuando una elevada proporción de la población de la región 
trabaja para esa empresa o industria. 
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Derecho consuetudinario. Practicas y creencias culturales que son parte 
vital e intrínseca del sistema social y económico de una cultura particular 
que son tratadas como si fueran leyes y están (semi)legitimadas; esto es, 
costumbres que se aceptan como requisitos jurídicos o reglas obligatorias 
de conducta. 

Derechos consuetudinarios. Derechos que rigen por costumbre o cultura. 
Derechos humanos. Garantías jurídicas universales que protegen a indi- 
viduos y grupos de personas contra actos y omisiones que afectan las 
libertades fundamentales, los derechos y la dignidad humana. Las normas 
de derechos humanos obligan a los gobiernos (principalmente) y a otros 
órganos de protección a hacer determinadas cosas y les impiden hacer 
otras. 

Desahogo. El proceso de “dejar salir el vapor”. En el marco de la EIS, se 
refiere a situaciones en las que las personas que están enojadas o emotivas 
pueden expresar sus sentimientos. Las oportunidades de desahogarse son 
una parte necesaria de un buen proceso de compromiso comunitario. 
Desarraigo. Puede referirse a lugares que carecen de un “espíritu de 
lugar”, no son auténticos o están desconectados de su entorno ambiente, 
o puede referirse a la desconexión que sienten los individuos como conse- 
cuencia de su reasentamiento o en razón del grado de cambio ocurrido en 
su comunidad. 

Desarrollo comunitario. Proceso a largo plazo en el cual personas 
marginadas o que viven en la pobreza aún con esfuerzos para identificar 
sus necesidades, crear el cambio, ejercer más influencia en las decisiones 
que afectan sus vidas y trabajan para mejorar la calidad de sus vidas, las 
comunidades en las que viven y la sociedad que integran. 

Desarrollo sostenible. El Informe Brundtland (Nuestro futuro común), 
define al desarrollo sostenible como el desarrollo que satisface las nece- 
sidades del presente sin comprometer la habilidad de las generaciones 
futuras de satisfacer sus propias necesidades. 
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Desarticulación social. Proceso mediante el cual se perturban las redes 
sociales y mecanismos de apoyo dentro de un grupo social. A menudo 
resulta de la fragmentación que ocurre con un reasentamiento. 
Desempeño social. La interfaz entre un proyecto y la sociedad; la confi- 
guración de los principios de responsabilidad social de una empresa, sus 
procesos de sensibilidad social y las políticas, programas y resultados 
perceptibles en la medida en que se vinculan con las relaciones de la 
empresa con la sociedad. 

Desgaste. El desgaste se produce cuando algunas unidades abandonan la 
muestra entre una ronda de datos y la siguiente. Por ejemplo, cuando las 
personas cambian su residencia y no se les puede localizar. El desgaste de 
la muestra es un caso de falta de respuesta de la unidad. Puede introducir 
un sesgo en la estimación de impacto. 

Desplazamiento. Mientras el reasentamiento es el proceso activo de 
reubicar personas en razón de la ejecución de un proyecto, el desplaza- 
miento es la experiencia personal y social de pasar por el trastorno de 
la reubicación, el proceso de pérdida del sentido de pertenencia de cada 
uno. En los procesos de reasentamiento, el desplazamiento físico refiere a 
la pérdida de la vivienda como consecuencia de la adquisición de tierras 
en relación con el proyecto o de restricciones en el uso de las tierras que 
requieren que las personas afectadas se trasladen a otro lugar. El despla- 
zamiento económico se refiere a situaciones en las que las casas de la 
gente no se ven afectadas pero pierden otros bienes o el acceso a los 
bienes (por ejemplo, tierras agrícolas) que generará un perjuicio a los 
medios de subsistencia y la correspondiente pérdida de ingresos. 
Desplazamiento económico. Se refiere al trastorno y los impactos 
sociales (es decir, desplazamiento) debidos, no ya a la reubicación del 
lugar de residencia, sino a la pérdida de medios de subsistencia econó- 
mica, tal como cuando los agricultores pierden sus tierras de cultivo, o 
cuando la contaminación del agua causa la destrucción de los medios de 
vida de los pescadores. 

Desplazamiento físico. Véase Desplazamiento. 
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Determinación del alcance. El proceso de establecer las principales 
cuestiones de interés y los actores interesados afectados para determinada 
intervención planeada. 

Determinantes sociales de la salud. Las condiciones económicas y 
sociales, y su distribución en una población que influyen sobre las dife- 
rencias entre individuos y grupos con respecto al estado de salud. Se 
refiere a los factores de riesgo social en la vida y las condiciones laborales 
de una persona, más que a los factores individuales (tal como los factores 
de riesgo del comportamiento o la genética) que influyen en el riesgo de 
enfermedad o de vulnerabilidad ante una enfermedad o una lesión. Las 
distribuciones de los determinantes sociales están delineadas por la salud 
pública y otras políticas, una gobernanza deficiente y ordenamientos 
económicos injustos donde los que ya son pudientes y sanos pasan a estar 
en mejores condiciones mientras los pobres que ya tienen más probabi- 
lidad de enfermarse se vuelven aún más pobres. 

Diferencias en diferencias (DD). También conocido como doble dife- 
rencia o diferencia en diferencia. La DD comparan los cambios en los 
resultados a lo largo del tiempo entre el grupo de tratamiento y el grupo 
de comparación. Esto elimina cualquier diferencia entre estos grupos que 
sea constante a lo largo del tiempo. 

Discurso. Implica todo lo que pueda tener que ver con el idioma y la 
conversación, inclusive todo lo que el uso del idioma conlleva, tal como 
la construcción activa de pensamientos, identidades y acciones. Es una 
construcción social que ofrece un conjunto de posibles expresiones acerca 
de un área determinada y organiza y brinda un marco a la manera como va 
a hablarse de un tema, un objeto o un proceso en particular. El discurso 
proporciona descripciones, reglas, autorizaciones y prohibiciones de la 
acción social e individual. 

Diseño cruzado. También denominado diseño transversal. Se pro- 
duce cuando hay una asignación aleatoria con dos o más intervenciones, 
lo que permite estimar el impacto de las intervenciones individuales y 
combinadas. 
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Diseño de regresión discontinua (DRD). Método de evaluación de 
impacto cuasi experimental que se puede utilizar en programas que 
dependen de un índice límite que determina si los participantes poten- 
ciales son elegibles para recibir el programa o no. El umbral de elegi- 
bilidad del programa proporciona un punto divisorio entre el grupo de 
tratamiento y el grupo de comparación. Los resultados para los partici- 
pantes en un lado del umbral se comparan con los resultados de los no 
participantes al otro lado del umbral. Cuando todas las unidades cumplen 
con la asignación que corresponde sobre la base de su índice de elegibi- 
lidad, se dice que el DRD es nítido. Si hay incumplimiento en el otro lado 
del umbral, se dice que el DRD es difuso o borroso. 

Diversidad social. Se refiere a la mezcla localizada de grupos sociales 
e individuos basada en características tales como género, etnia, edad, 
cultura y contexto económico. 

Divulgación. Con frecuencia denominado divulgación total y franca, una 
política de divulgación abierta o un deber de divulgación, se trata de 
un término con connotaciones jurídicas y cuasijurídicas que se refiere 
a la obligación de las partes de una negociación de revelar todo lo que 
sea considerado pertinente para el tema en estudio (es decir, importancia 
relativa). 

Dominio eminente. Se refiere al poder del Estado para adquirir propiedad 
privada de manera forzosa. Esto podría hacerse para recuperar (expro- 
piar) tierra para autopistas, aeropuertos, etc. Ocasionalmente, el Estado 
extiende su poder para habilitar la ejecución de proyectos del sector 
privado cuando se considera que son de interés nacional. 


Economía informal. Se refiere a esa parte de la economía que evita la 
regulación, imposición o control del gobierno, ya sea porque funciona de 
manera ilegal o porque funciona en pequeña escala, a base de dinero en 
efectivo. 

Efecto causal. Véase impacto. 
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Efecto de derrame (Spillover). También denominado efecto de contagio. 
Ocurre cuando el grupo de tratamiento influye directa o indirectamente en 
los resultados del grupo de comparación (0 a la inversa). 

Efecto mínimo detectable. El efecto mínimo detectable es un insumo 
en los cálculos de potencia, es decir, proporciona el tamaño del efecto 
que una evaluación de impacto está diseñada para estimar con un deter- 
minado nivel de significancia y potencia. Las muestras de la evaluación 
tienen que ser lo bastante grandes para distinguir al menos el efecto 
mínimo detectable. Este efecto se determina teniendo en cuenta el cambio 
en los resultados que justificaría la inversión que se ha hecho en una 
intervención. 

Efecto Hawthorne. Se produce cuando, por el simple hecho de ser obser- 
vadas, las unidades se comportan de manera diferente. 

Efecto John Henry. Acontece cuando las unidades de la comparación se 
esfuerzan más para compensar que no se les haya ofrecido el tratamiento. 
Cuando se comparan las unidades tratadas con las unidades de la compa- 
ración que se esfuerzan más, la estimación del impacto del programa 
tiene un sesgo; es decir, se estima un impacto menor del programa en 
comparación con el impacto real que se obtendría si las unidades de la 
comparación no realizaran un esfuerzo adicional. 

Efecto local promedio del tratamiento (LATE. Local Average Treat- 
ment Effect). Impacto de un programa estimado para un subconjunto 
específico de la población, como las unidades que cumplen con su asigna- 
ción al grupo de tratamiento o de comparación en presencia de un cumpli- 
miento imperfecto, o en torno al umbral de elegibilidad cuando se aplica 
un diseño de regresión discontinua. Por lo tanto, el LATE proporciona 
solo una estimación local del impacto del programa y no debería genera- 
lizarse al conjunto de la población. 

Efecto de demostración. Las consecuencias que trae a ciertos individuos 
el observar a otras personas. En la esto puede incluir situaciones en las 
que los miembros de una comunidad receptora tratan de imitar los estilos 
de vida, comportamientos, actitudes o idioma de los recién llegados tal 
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como trabajadores o turistas extranjeros. Esto puede generar muchos 
impactos sociales negativos, entre los que se encuentran el aumento del 
costo de vida, la frustración y un problemático cambio cultural. También 
podría eventualmente causar impactos sociales positivos en forma de 
transferencia de conocimientos entre los contratistas internacionales y las 
pequeñas y medianas empresas. 

Efectos de equilibrio de contexto. Efectos de derrame que se producen 
cuando una intervención influye en las normas de conducta o sociales en 
un contexto determinado, como una localidad tratada. 

Efectos de equilibrio general. Estos efectos de derrame se producen 
cuando las intervenciones afectan la oferta y demanda de bienes y servi- 
cios y, por lo tanto, cambian el precio de mercado de esos servicios. 
Efecto multiplicador. Véase Multiplicador regional. 

Efecto promedio del tratamiento (ATE, por sus siglas en inglés). 
Impacto del programa bajo el supuesto de cumplimiento total; es decir, 
todas las unidades que hayan sido asignadas a un programa se inscriben 
realmente en él, y ninguna de las unidades de comparación recibe el 
programa. 

Efecto tarro de miel. Foco de atracción para migrantes laborales o 
migración inducida por un proyecto; las personas podrían desplazarse 
hacia el emplazamiento del proyecto en una tentativa de ser consideradas 
personas afectadas y por consiguiente con derecho a indemnización, o en 
busca de trabajo u oportunidades económicas que surjan del proyecto. 
Elaboración de perfiles. Proceso de reunir información básica sobre las 
Características de una comunidad y su contexto local en el estado previo 
al proyecto. 

Elefante blanco. Expresión de uso corriente que consiste en una insta- 
lación (edificio, etc.) de alto costo y utilidad limitada. Históricamente, la 
expresión tenía un significado más preciso relacionado con un enorme 
costo de mantenimiento (un activo que es un pasivo) pero también a la 
incapacidad de disponer de aquel. Salvo que se tomen las precauciones 
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necesarias en la selección del gasto para la inversión social, muchos 
proyectos pueden ser elefantes blancos. 

Empobrecimiento. El proceso de empobrecerse (que lleva a la pobreza). 
La pérdida de medios de subsistencia a partir del desplazamiento causado 
por los proyectos puede conducir al empobrecimiento. 
Empoderamiento. Aumentar los recursos y capacidades de diversos 
individuos y grupos con el fin de comprometer e influir en las institu- 
ciones económicas y sociales, e incrementar la responsabilidad de las 
instituciones públicas. Un proceso participativo que transfiere o coloca 
la responsabilidad de la toma de decisiones y los recursos en manos de 
aquellos que se beneficiarán con ellos. Esto puede incluir (i) la creación de 
capacidad para las organizaciones interesadas; (ii) el fortalecimiento de la 
capacidad jurídica de las organizaciones interesadas, (iii) la autoridad de 
las partes interesadas para administrar fondos, contratar y despedir traba- 
jadores, supervisar el trabajo y adquirir materiales; (iv) la autoridad de las 
partes interesadas para certificar la realización satisfactoria del proyecto y 
establecer indicadores de monitoreo y evaluación, y (v) el apoyo a inicia- 
tivas nuevas y espontáneas de las partes interesadas. 

Encuesta de seguimiento. También conocida como encuesta posterior 
a la intervención. Se trata de una encuesta realizada después de que el 
programa ha comenzado, una vez que los beneficiarios se han beneficiado 
de él durante algún tiempo. Una evaluación de impacto puede incluir 
varias encuestas de seguimiento, a veces denominadas encuestas inter- 
medias y finales. 

Enfoque (o marco) de medios de subsistencia sostenibles. Forma de 
analizar el efecto de los proyectos con respecto a los medios de subsis- 
tencia de las personas y comunidades. Emplea los capitales (activos de 
medios de subsistencia) como base del análisis. 

Enfoque basado en derechos. Véase Enfoque basado en los derechos 
humanos. 

Enfoque basado en los derechos humanos (lente de los derechos 
humanos) Marco conceptual y operativo orientado hacia asegurar la 
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promoción y protección de los derechos humanos. Es un enfoque (para 
la salud, la cooperación en desarrollo, etc.) que procura: (1) ubicar a los 
derechos humanos y sus principios como el componente central de las 
acciones; (2) exigir rendición de cuentas y transparencia de parte de los 
garantes del respeto de los derechos; (3) fomentar el empoderamiento de 
los titulares de derechos y fortalecer su capacidad para, entre Otras Cosas, 
hacer responsables a los garantes referidos; (4) garantizar que la partici- 
pación significativa de los titulares de derechos en procesos de desarrollo 
e intervenciones planeadas se reconozca como un derecho intrínseco, no 
simplemente como mejor práctica; y (5) garantizar el compromiso no 
discriminatorio de los titulares de derechos y la priorización de indivi- 
duos o grupos especialmente vulnerables. 

Equidad del impacto. La noción de que los impactos que se producen 
en una sociedad o generados por un proyecto deben ser compartidos 
de manera equitativa, de que al menos debería prestarse atención a la 
justa distribución de los impactos positivos y negativos. Por ejemplo, las 
trayectorias de vuelo para un aeropuerto deberían ajustarse de modo que 
la carga de ruido sea compartida, en lugar de que la misma gente reciba 
todo el ruido. 

Equipo de evaluación. Equipo que lleva a cabo la evaluación. Se trata en 
esencia de una asociación entre dos grupos: un equipo de responsables de 
las políticas públicas (equipo de políticas) y un equipo de investigadores 
(equipo de investigación). 

EMARF (en inglés, SMART). Específico, medible, atribuible, realista y 
focalizado. Los buenos indicadores tienen estas características. 

Error de tipo I. También conocido como falso positivo. Este error se 
comete cuando se rechaza una hipótesis nula que, en realidad, es válida. 
En el contexto de una evaluación de impacto, se comete un error de 
tipo I cuando una evaluación llega a la conclusión de que un programa 
ha tenido un impacto (es decir, se rechaza la hipótesis nula de falta de 
impacto), aunque en realidad el programa no ha tenido impacto (es decir, 
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la hipótesis nula se mantiene). El nivel de significancia es la probabilidad 
de cometer un error de tipo I. 

Error de tipo II. También conocido como falso negativo. Este error se 
comete cuando se acepta (no se rechaza) la hipótesis nula, pese a que 
esta última, de hecho, no es válida. En el contexto de una evaluación de 
impacto, se comete un error de tipo II cuando se llega a la conclusión de 
que un programa no ha tenido impacto (es decir, no se rechaza la hipótesis 
nula de falta de impacto), aunque el programa de hecho tuvo impacto (es 
decir, la hipótesis nula no es válida). La probabilidad de cometer un error 
de tipo II es 1 menos el nivel de potencia. 

ESHIA. Evaluación de Impacto Ambiental, Social y de Salud (“Environ- 
mental, Social and Health Impact Assessment”). 

Espacio deliberativo. Un entorno físico que conduce al estado delibe- 
rativo. 

Espíritu de lugar. Hace referencia a los aspectos únicos, distintivos y 
preciados de un lugar. Mientras el sentido de pertenencia implica los 
sentimientos personales que un individuo tiene acerca de un lugar, el 
espíritu de lugar se refiere a las características inherentes al lugar. 
Estándar de vida. Indicadores físicos, objetivos del bienestar de un indi- 
viduo o grupo. 

Estimación de tratamiento en los tratados. La estimación del impacto 
del tratamiento en aquellas unidades que en la práctica se han beneficiado 
del tratamiento. Compárese con intención de tratar. 

Estimador. En Estadística, es una regla utilizada para calcular una carac- 
teristica desconocida de una población a partir de los datos (técnicamente 
conocido como parámetro); una estimación es el resultado de la aplica- 
ción real de una regla a una muestra concreta de datos. 

Estrategia de salida. En el marco de una EIS o de un proyecto, refiere a 
la atención que una empresa debe prestar a la manera en que se apartará 
de las obligaciones a largo plazo que no forman parte de su actividad 
principal. 
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Estudio de efectividad. Analiza si un programa funciona en condiciones 
normales al aumentar la escala. Cuando estan adecuadamente diseñados 
e implementados, los resultados de estos estudios pueden ser más genera- 
lizables que en el caso de los estudios de eficacia. 

Estudio de eficacia. Analiza si un programa puede funcionar en condi- 
ciones ideales. Estos estudios se llevan a cabo en circunstancias muy 
especificas, a menudo con una fuerte participación técnica de los inves- 
tigadores durante la implementación del programa. Suelen emprenderse 
para probar la viabilidad de un programa nuevo. Sus resultados no son 
generalizables más allá del alcance de la evaluación. 

Evaluación. Valoración periódica y objetiva de un proyecto, un programa 
o una política planificados, en curso o finalizados. Las evaluaciones se 
utilizan para responder preguntas específicas, a menudo relacionadas con 
el diseño, la implementación o los resultados. 

Evaluación de impacto. Evaluación que intenta establecer un vínculo 
causal entre un programa o intervención y un conjunto de resultados. 
Una evaluación de impacto procura responder a la pregunta: ¿cuál es el 
impacto (o efecto causal) de un programa en un resultado de interés? 
Proceso de identificar las consecuencias futuras de una acción actual o 
propuesta. 

Evaluación de impacto ambiental (EIA). Proceso formal empleado 
para predecir las probables consecuencias ambientales (positivas o nega- 
tivas) de un plan, política, programa o proyecto previo a su implementa- 
ción, a menudo como parte del procedimiento normativo (licenciamiento 
ambiental). 

Evaluación de impacto cultural. Forma de evaluación de impacto que 
considera los impactos de un proyecto especificamente sobre la cultura 
de un grupo social en particular (como un grupo étnico o indígena espe- 
cífico). Consideraría, entre otras cosas, los valores, sistemas de creen- 
cias, leyes no escritas, lengua(s), costumbres, economía, relaciones con el 
medio ambiente local y especies particulares, organización social y tradi- 
ciones de la comunidad afectada. Dado que los impactos culturales debe- 
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rian formar parte de una evaluación de impacto social para la introducción 
de innovación, la evaluación de impacto cultural es un subcomponente de 
ésta, pero está estrechamente vinculada a otros impactos sociales con lo 
cual esa distinción no tendría sentido, excepto en la medida que indique la 
perspectiva y el propósito de la evaluación de impacto; esto es, la evalua- 
ción de impacto social par ala introducción de innovaciones que apunta 
a comprender los impactos sociales de un proyecto sobre la cultura de la 
comunidad local. 

Evaluación de impacto de igualdad (EqIJA). Evalúa aspectos de equidad 
y discriminación en todas las políticas y estrategias, especialmente con 
respecto a los grupos vulnerables. 

Evaluación de impacto sobre el patrimonio cultural. Proceso de 
evaluar los impactos posibles de un proyecto propuesto sobre las mani- 
festaciones materiales del patrimonio cultural de una comunidad que 
incluye sitios, estructuras y restos de valor o importancia arqueológica, 
arquitectónica, histórica, religiosa, espiritual, cultural, ecológica o esté- 
tica. Los impactos sobre el patrimonio cultural intangible se evaluarían en 
un estudio de impacto cultural. 

Evaluación de impacto social. Comprende los procesos de analizar, 
monitorear y gestionar las consecuencias sociales deseadas y no deseadas, 
tanto positivas como negativas, de las intervenciones planeadas (políticas, 
programas, planes, proyectos) y todo proceso de cambio social invocado 
por tales intervenciones. Su principal objetivo es lograr un ambiente 
biofísico y humano más sostenible y equitativo. Evaluación de impacto 
social (forma abreviada) analizar, monitorear y gestionar las consecuen- 
cias sociales del desarrollo. 

Evaluación de necesidades. Procedimiento sistemático para determinar 
problemas del cliente o comunitarios y clasificar su importancia como 
componente del programa de desarrollo. La evaluación de necesidades es 
el predecesor de los programas de intervención pública actuales. 
Evaluación ex-ante. Evaluacion anticipada. La mayoría de las evalua- 
ciones de impacto se realizan exante, constituyen un pronóstico sobre 
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los probables impactos de una intervención planeada; en otras palabras, 
acerca de algo que todavía no ha sucedido. 

Evaluación ex-post. Evaluacion posterior al proyecto. Las evaluaciones 
ex-post son en realidad evaluaciones de los impactos de un proyecto o 
política en particular. 

Evaluación de proceso. Evaluación que se centra en cómo se imple- 
menta y funciona un programa, y que evalúa si se corresponde con su 
diseño original y documenta su desarrollo y funcionamiento. Compárese 
con evaluación de impacto. 

Evaluación prospectiva. Evaluaciones diseñadas y aplicadas antes de 
que se implemente un programa. Las evaluaciones prospectivas están 
incorporadas en los planes de implementación del programa. Compárese 
con evaluación retrospectiva. 

Evaluación retrospectiva. Evaluación diseñada después de que se ha 
implementado un programa (ex post). Compárese con evaluación pros- 
pectiva. 

Exclusión social. Procesos que retrasan el logro de la inclusión social y 
de la integración social, o que conducen a la marginalización de grupos 
vulnerables. 

Experimento de mecanismo. Evaluación de impacto que prueba un 
mecanismo causal particular dentro de la teoría del cambio de un pro- 
grama, en lugar de probar el efecto causal (impacto) del programa como 
un todo. 

Expropiar/expropiación. Se refiere a la capacidad de un organismo del 
sector público, o de una empresa autorizada por el gobierno, para adquirir 
tierras y otros recursos, sin el consentimiento de los usuarios existentes o 
residentes. (Véase también Dominio eminente). 

Externalidad. Un término económico que se refiere a los costos (y por 
ende a los impactos) que se consideran externos o ajenos a los análisis 
que se están haciendo, por consiguiente se trata por lo general de los 
impactos ambiental y social. Un principio de la sostenibilidad es interna- 
lizar las externalidades. 
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Facilitación. El proceso de posibilitar que grupos y organizaciones 
alcancen sus metas, ayudándolos en los procesos que utilizan para cola- 
borar entre sí. Un facilitador es habitualmente independiente, está capaci- 
tado y posee experiencia en tareas de facilitación, y cuenta con un reper- 
torio de técnicas para emplear, seleccionadas conforme al objetivo y a los 
intereses del grupo al que está dirigida esa facilitación. En una evalua- 
ción de impacto social para introducción de innovaciones y/o proceso de 
compromiso comunitario, es un facilitador el que normalmente maneja 
los procesos inherentes al compromiso comunitario. Las principales apti- 
tudes son la imparcialidad, una capacidad para hacer que las personas se 
sientan cómodas, una buena comprensión del proceso social y un buen 
conocimiento de una amplia variedad de técnicas y de cuándo utilizar 
cada una. 

Facipulación. Una palabra inventada que combina las palabras facili- 
tación y manipulación. Se refiere al sentimiento que tienen las personas 
cuando han intervenido en un proceso de participación comunitaria pero 
se quedaron con la sensación de haber sido manipuladas. 

Factor invariante en el tiempo. Factor que no varía a lo largo del tiempo; 
es constante. 

Factor variante en el tiempo. Factor que varía a lo largo del tiempo. 
Falta de rango común. Cuando se utiliza el método de coincidencia 
(matching), la falta de rango común es una falta de superposición entre 
los puntajes de propensión del grupo de tratamiento, o inscrito, y los del 
grupo de no inscritos. 

Falta de respuesta. Se produce cuando faltan datos o los datos son 
incompletos para algunas unidades de la muestra. La falta de respuesta 
de la unidad surge cuando no hay información disponible para algunas 
unidades de la muestra, es decir, cuando la muestra real es diferente de la 
muestra planificada. Una forma de falta de respues ta a nivel de la unidad 
es el desgaste. La falta de respuesta de una entrada se produce cuando los 
datos son incompletos para algunas unidades de la muestra en un deter- 
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minado momento del tiempo. La falta de respuesta puede generar sesgos 
en los resultados de una evaluación si está asociada con la condición de 
tratamiento. 

Falta de respuesta de la unidad. Surge cuando no hay información 
disponible para un subconjunto de unidades; es decir, cuando la muestra 
real es diferente de la muestra planificada. 

Falta de respuesta de una entrada. Ocurre cuando los datos son incom- 
pletos para algunas unidades de la muestra. 

Fecha límite. En los procesos de reasentamiento indica la fecha luego de 
la cual la población no será incluida en la lista de personas identificadas 
como afectadas por un proyecto, y por consiguiente no tendrán derecho a 
asistencia e indemnización por reasentamiento. 

FIFO. Una sigla referida al uso de trabajadores que normalmente no 
residen en la vecindad del proyecto y que por lo general son introducidos 
como trabajadores, habitualmente por determinados períodos de tiempo. 
Se origina en la expresión en inglés fly in, fly out (llevar y traer en avión). 
Fondo social. La provisión de financiamiento (quizás, pero no necesa- 
riamente en carácter de indemnización) proveniente de un proyecto para 
ser dirigida a las poblaciones afectadas. Habitualmente los administra la 
comunidad y se destinan a la promoción de proyectos sociales en bene- 
ficio de la comunidad toda. Con frecuencia se calculan como un porcen- 
taje de algo, tal como dólares por megavatio hora de electricidad produ- 
cida, o millar de toneladas de mineral extraído de una mina. Un fondo 
social no es un pago en concepto de regalías, aunque los pagos de regalías 
también podrían ingresar a los fondos sociales. 

Fortalecimiento de la capacidad. Proceso coordinado de intervenciones, 
tales como programas de capacitación usualmente centrados en fortalecer 
Capital humano y en mejorar prácticas institucionales y mecanismos de 
gobernanza. 
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Garante. En el enfoque basado en los derechos humanos, los derechos 
humanos conllevan tanto derechos (y por ende titulares de los derechos) 
como obligaciones (y en consecuencia, garantes de esos derechos). En 
la legislación de derechos humanos, los garantes tienden a ser princi- 
palmente Estados, pero también podrían incluir a todos los individuos, 
en particular las empresas y sus proveedores y contratistas. En el marco 
del derecho internacional, los Estados asumen obligaciones y deberes de 
respetar, proteger y cumplir con los derechos humanos. La obligación de 
respetar significa que los Estados deben abstenerse de restringir o inter- 
ferir con el ejercicio de los derechos humanos. La obligación de proteger 
requiere que los Estados protejan a los individuos y grupos contra las 
violaciones de los derechos humanos. La obligación de cumplir significa 
que los Estados deben adoptar medidas firmes para facilitar el ejercicio de 
los derechos humanos básicos. A nivel individual, aunque estemos facul- 
tados para ejercer nuestros derechos humanos, también debemos respetar 
los derechos humanos de los demás. 

Garantía ambiental. Un instrumento financiero (a menudo en forma de 
cuenta de depósito de garantía) que proporciona una garantía que asegure 
que un proyecto cumplirá con los requisitos de rehabilitación ambiental. 
Gastos iniciales. Un término propio de la gestión de proyectos que 
implica gastar más dinero al comienzo de modo de contar con un mejor 
diseño y por consiguiente ahorrar dinero en una etapa posterior. 
Generabilidad. La medida en que los resultados de una evaluación en 
un ámbito local serán válidos en otros contextos y en otros grupos de 
población. 

Género. Se refiere a los roles socialmente construidos y asignados a 
hombres y mujeres. Estos roles se aprenden, cambian con el tiempo y 
varían ampliamente dentro de una misma cultura y entre culturas dife- 
rentes. 

Gentrificación. El proceso gradual por el cual un lugar (por lo general 
un barrio céntrico pobre o una pequeña localidad ubicada en un lugar 
estético) se transforma, dejando de pertenecer a la clase trabajadora y 
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pasando a ser de clase media o clase media alta en cuanto a sus caracterís- 
ticas y composición. Una consecuencia de este proceso es un aumento del 
valor de las propiedades y del costo del alquiler de las viviendas, lo cual 
provoca el desplazamiento de los residentes anteriores. Cuando la gentri- 
ficación conduce a la turistificación, también puede llevar a un conflicto 
entre los residentes establecidos (antiguos) y los turistas y/o los nuevos 
residentes (recién llegados). 

Gestión de flujos migratorios. El proceso de manejo de grandes canti- 
dades de personas que llegan a los emplazamientos de los proyectos en 
búsqueda de oportunidades económicas. (Véase Efecto tarro de miel) 
Gobernanza. Hace referencia al modo de gobernar de organizaciones, 
instituciones, empresas y gobiernos. Es el acto de gobernar, el que implica 
la aplicación de leyes y reglamentos, pero también costumbres, están- 
dares éticos y normas. (Véase también Buena gobernanza) 

Grupo de comparación. También conocido como grupo de control. 
Un grupo de comparación válido tendrá las mismas características, en 
promedio, que el grupo de beneficiarios del programa (grupo de trata- 
miento), con la única diferencia de que las unidades del grupo de compa- 
ración no se benefician del programa que se evalúa. Los grupos de compa- 
ración se utilizan para estimar el contrafactual. 

Grupo de control. También conocido como grupo de comparación 
(véase la definición). 

Grupo de tratamiento. También conocido como grupo tratado o grupo 
de intervención. El grupo de tratamiento es el grupo de unidades que es 
objeto de una intervención versus el grupo de comparación, que no es 
objeto de ella. 

Grupos marginados. Véanse Grupos minoritarios y Grupos vulnerables. 
Grupos minoritarios. Un término de las ciencias sociales empleado para 
referirse a agrupaciones sociales que se diferencian o pueden diferen- 
ciarse de la mayoría de la sociedad. Por lo general sufren discriminación 
y subordinación, tienen rasgos físicos y/o culturales que los apartan, y en 
razón de los cuales son marginados por el grupo dominante, un sentido 
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compartido de identidad colectiva y preocupaciones en común; reglas 
sociales compartidas acerca de quién pertenece y quién no determina la 
condición de minoría; y la tendencia a contraer matrimonio dentro del 
grupo. 

Grupos vulnerables. Grupos caracterizados por alguna vulnerabilidad. 
Si bien esta depende del contexto y puede incluir una amplia gama de 
grupos, en general el concepto abarca: pueblos indígenas, minorías 
étnicas, migrantes, personas discapacitadas, personas sin hogar, pobres, 
quienes luchan contra el abuso de sustancias y personas mayores aisladas. 
Guardián. Una persona o institución que controla el acceso a algo. Los 
guardianes pueden ejercer roles formales o informales. En el contexto de 
una evaluación de impacto social para la introducción de innovaciones, el 
concepto indica con frecuencia aquellos individuos que tienen poder para 
facilitar o impedir el acceso de los consultores a una comunidad especí- 
fica. Dicho de otro modo, ocupan una posición influyente clave. 


Habitabilidad. Los aspectos de un lugar que hace que sus habitantes 
estén felices de vivir y trabajar allí, y que ofrecen una alta calidad de vida 
para todos sus habitantes. 

Hipótesis. Explicación propuesta de un fenómeno observable. Véase 
también hipótesis nula e hipótesis alternativa. 

Hipótesis alternativa. Suposición de que la hipótesis nula es falsa. En 
una evaluación de impacto, la hipótesis alternativa suele ser la hipótesis 
de que la intervención tiene un impacto en los resultados. 

Hipótesis nula. Hipótesis que puede ser falsificada sobre la base de los 
datos observados. Normalmente, la hipótesis nula propone una posición 
general o por defecto. En la evaluación de impacto, la hipótesis nula suele 
ser que el programa no tiene impacto, es decir: la diferencia entre el resul- 
tado del grupo de tratamiento y el grupo de comparación es cero. 
Historial de impacto. Se refiere a la experiencia previa que una comu- 
nidad ha tenido con otros proyectos. Afecta la manera en que se rela- 


cionan con nuevos proyectos y el nivel de confianza que podrían tener. 
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Significa también que podrian existir cuestiones heredadas de las cuales 
un operador nuevo debe encargarse. 

Huella social. Un concepto que intenta ser el equivalente social de la 
huella ecológica, es decir una metáfora con referencia al grado de daño 
social generado por un proyecto o producto. Es un concepto que no se ve 
propiciado por los profesionales de las ciencias sociales y por ende no se 
aplica en la evaluación de impacto social para la introducción de innova- 
ciones, pero algunos profesionales de las ciencias físicas promueven este 
concepto junto con el de huella ecológica. 


IAIA. Asociación Internacional para la Evaluación de Impactos (Interna- 
tional Association for Impact Assessment) www.iaia.org. 

ICMM. Consejo Internacional de Minería y Metales (International 
Council on Mining and Metals) www.icmm.com. 

Impacto. También conocido como efecto causal. En el contexto de las 
evaluaciones de impacto, un impacto es un cambio directamente atri- 
buible a un programa, a una modalidad del programa o a innovaciones de 
diseño. Consecuencia económica, social, ambiental u otra que se puede 
predecir razonablemente y medir previamente en caso de implementarse 
una acción propuesta. 

Impacto (efecto) indirecto. Ocurre como resultado de otro cambio 
causado por una intervención planeada. En el ámbito de la evaluación 
de impacto social para la introducción de innovaciones, un efecto indi- 
recto podrá ser causado por un cambio físico en el medio ambiente. Por 
ejemplo, la mina podrá aumentar la turbiedad del río, lo que podrá reducir 
el abastecimiento de peces, lo que puede llegar a disminuir los medios de 
vida económicos de los pescadores de ese pueblo. También pueden existir 
efectos secundarios, efectos de segundo o mayor grado. 

Impacto (0 efecto) directo. Ocurre como resultado directo de una inter- 
vención planeada. También denominado impacto principal o de primer 
orden. En la evaluación de impacto social para introducción de innova- 


ciones refiere a los cambios sociales e impactos sociales directamente 
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causados por el proyecto en si, como las molestias que ocasiona a las 
personas el ruido de maquinaria del proyecto. 

Impacto de orden superior. Los impactos sociales indirectos que se 
producen luego de los impactos de primer orden inmediatamente ante- 
riores en la cadena de impactos que surgen de un proyecto. 

Impacto de primer orden. Los impactos que constituyen las consecuen- 
cias directas e inmediatas de un proyecto. 

Impacto percibido. Algo que se cree que es un posible impacto en vez 
de algo que se haya establecido como un impacto real. Nótese que los 
impactos percibidos afectan lo que las personas sienten con respecto 
al proyecto y cómo se sienten y se comportan en general, por lo que la 
percepción para ellos es real. 

Impacto potencial. Impacto que se ha predicho, y no un impacto real que 
ya haya ocurrido. 

Impacto real. Los impactos sociales que las comunidades sufren efecti- 
vamente y no los que se pronostica que ocurrirán. 

Impacto residual. Los impactos adversos predichos y que permanecen 
incluso luego de que se han implementado medidas de mitigación. 
Impacto social. Algo que se experimenta o se siente, en el sentido percep- 
tual o corporal a nivel de individuo, unidad social (familia/hogar/colecti- 
vidad) o comunidad/sociedad. (Véase también Proceso de cambio social) 
Impactos acumulativos. Los impactos sucesivos, incrementales y combi- 
nados de uno o más proyectos (existentes, actuales y futuros proyectos 
predecibles) sobre la sociedad, la economía o el medio ambiente. Pueden 
resultar de una agregación o interacción de impactos dentro de un sistema 
social o ambiental y se definen desde la perspectiva de las personas o del 
medio ambiente que los experimenta. 

Impactos transfronterizos. Se refiere a los impactos, ambientales y 
sociales, que se trasladan más allá de las fronteras, en general fronteras 
nacionales, pero se puede decir también cualquier frontera jurisdiccional. 
Importancia (evaluación determinación). El acto de asignar alguna 
forma de prioridad a los problemas que deben tratarse, para su posterior 
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análisis y mitigación. Luego del proceso de determinación del alcance, se 
procede a evaluar los impactos según su importancia, de conformidad con 
algunos criterios predeterminados o a través de un proceso deliberativo 
con una comisión de enlace con la comunidad. 

Importancia relativa. Concepto jurídico que hace referencia a si algo es 
relevante con respecto al asunto por tratar. Por ejemplo, puede referirse 
a lo que debería divulgarse en una negociación amistosa. También puede 
referir a lo que podría comprender un informe sobre sostenibilidad. 
Inclusión social. Concepto de la justicia social que refiere a un compro- 
miso de políticas y a las estrategias activas del gobierno, en todos sus 
niveles, y de la sociedad civil para mejorar el acceso de individuos y 
grupos diversos a oportunidades de desarrollo y a una participación 
íntegra en la sociedad mediante la eliminación de limitaciones institucio- 
nales y la provisión de incentivos y mecanismos. 

Indemnización. En los lugares en los que los impactos no se pueden 
evitar, la indemnización implica restituir a las personas, ya sea indivi- 
dual o colectivamente. Puede ser en forma de pagos en efectivo o de 
suministro de otras actividades de desarrollo, como la de un hospital, 
una escuela o una biblioteca pública. Si bien la indemnización puede ser 
la respuesta que surge de los derechos de propiedad de la comunidad 
afectada, también la puede realizar el proponente como gesto de buena 
voluntad o como resultado de una negociación. 

Indicador. Variable que mide un fenómeno de interés para el evaluador. 
El fenómeno puede ser un insumo, un producto, un resultado, una carac- 
terística o un atributo. Véase también EMARF. Véase también indicador 
social. 

Índice de elegibilidad. También conocido como variable forzada. Se 
trata de una variable que permite clasificar a la población de interés a lo 
largo de una línea continua y tiene un umbral o una puntuación límite que 
determina quién es elegible y quién no lo es. 

Indicador social. Medida estadística (variable) empleada para monito- 
rear el cambio en un fenómeno social. La evaluación de impacto social 
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para la introducción de innovaciones identifica indicadores sociales para 
todos los problemas sociales como temas importantes que necesitan ser 
monitoreados. 

Indicadores clave desempeño. Se establecen para medir el desempeño 
de una empresa o persona. Los indicadores desempeño de monitoreo por 
lo general no se consideran indicadores clave de, pero la idoneidad de 
ese monitoreo debería constituir uno para el directivo responsable de 
este; y la ausencia de incumplimientos debería ser otro indicador clave de 
desempeño para una empresa. 

Indignación moral. Indignación que provoca la percepción o creencia 
que se ha violado alguna norma moral, como puede ser la norma de 
imparcialidad o justicia. 

Infraestructura compartida. Se refiere a la infraestructura construida 
para el proyecto, pero que también se pone al servicio de las necesidades 
de las comunidades locales. Puede hacer referencia a la generación de 
electricidad, aprovisionamiento de agua, tratamiento de aguas servidas, 
como asimismo para puentes, carreteras, líneas ferroviarias, puertos y 
aeropuertos. 

Infraestructura de la comunidad. Servicios e instalaciones públicas y 
privadas que contribuyen a la calidad de vida general (esto es, salud, trans- 
porte, energía, educación, agua, calidad del agua y servicios sanitarios). 
Inmigración inducida por un proyecto. Véase Efecto tarro de miel. 
Innovación social. Un discurso sobre las nuevas maneras de satisfacer las 
necesidades sociales de las comunidades o de entregar a estas beneficios 
sociales, a través de un rediseño o la creación de nuevos productos, servi- 
cios, estructuras orgánicas, estructuras de gobernanza, políticas, proce- 
dimientos y actividades que sean más eficaces que los métodos tradicio- 
nales ya existentes del sector público, filantrópicos y dependientes del 
mercado que se aplican para responder a la exclusión social. 

Insumos. Los recursos financieros, humanos y materiales utilizados en la 
intervención. Intención de tratar (ITT, por sus siglas en inglés). Las esti- 
maciones de ITT miden la diferencia en los resultados entre las unidades 
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asignadas al grupo de tratamiento y las asignadas al grupo de compara- 
ción, independientemente de si las unidades de cada grupo recibieron en 
realidad el tratamiento. Intervención. En el contexto de la evaluación de 
impacto, se trata del proyecto, del programa o de la política que se evalúa. 
También conocida como tratamiento. 

Integración social. La capacidad de los diferentes grupos de la sociedad 
para vivir juntos en armonía productiva y cooperativa, y para zanjar dife- 
rencias en un marco de interés común en beneficio de todos. La inte- 
gración social implica justicia para cada individuo y armonía entre los 
diferentes grupos sociales y países. Significa la integración de grupos 
desfavorecidos y vulnerables, haciendo que todas las instituciones de la 
sociedad sean más accesibles para ellos. 

Intervención planeada. Proyecto, plan, política o programa. Funda- 
mentalmente, cualquier medida estimada que busca lograr una meta o un 
resultado definido. 

Inversión extranjera directa. Un término comercial referido a las inver- 
siones relacionadas con la obtención de una participación mayoritaria 
(que por lo general se considera el 10% o más del paquete accionario) en 
una empresa comercial en un país, por parte de una persona jurídica con 
sede en otro país. 

Inversión social. En el marco de una evaluación de impacto social (EIS), 
un proyecto debería aportar al desarrollo local facilitando financiamiento 
para proyectos que contribuyan con los resultados en materia de desa- 
rrollo local. La inversión social estratégica se emplea cuando para la 
empresa que facilita los fondos existe una clara viabilidad comercial. 
Inversión social estratégica. Específicamente diseñada para lograr tanto 
los propósitos estratégicos del proyecto o empresa como las necesidades 
y aspiraciones de las comunidades locales. 

IPIECA. La asociación mundial del sector del petróleo y del gas especia- 
lizada en cuestiones medioambientales y sociales http://www.ipieca.org/. 
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Jerarquía de la mitigación. Marco de referencia para planificar medidas 
de mitigación: evitar, reducir, restablecer e indemnizar. En definitiva, 
evitar en la fuente, minimizar en la fuente, reducir en el sitio, reducir en 
el receptor, reparar, indemnizar en especie, indemnizar por otros medios. 
Junta de revisión institucional (JRI). Comité nombrado para examinar, 
aprobar y monitorear la investigación con sujetos humanos. También 
conocido como Comité de ética independiente o Junta de revisión ética. 
Jurado ciudadano. Técnica deliberativa en la que la decisión (quizás 
sobre seleccionar la mejor alternativa) la toma un panel de (alrededor de 
12) ciudadanos legos seleccionados entre el público a quienes se les ha 
confiado que deliberen sobre temas relevantes en nombre de la comu- 
nidad. Si bien la intención es que el panel sea lego y no experto, se espera 
que aprendan sobre los temas relevantes y consulten a expertos y pidan 
información según sea necesario. Las decisiones tomadas por un jurado 
ciudadano tienen mayor legitimidad entre los miembros de la comunidad 
local que aquellas tomadas en procesos a cargo de expertos. 

Justicia social. Se refiere a nociones de justicia y equidad en una sociedad. 
Se trata de una filosofía acerca del respeto por los derechos humanos, el 
concepto de que cada uno debería tener la oportunidad de mejorar, y de 
que deberían tener la posibilidad de participar en decisiones que afectan 
su propia vida. 


Legitimidad. Un concepto que significa que las acciones de una parte 
son consideradas por un individuo o grupo como convenientes, correctas, 
apropiadas o al menos aceptables desde el punto de vista normativo de 
la otra parte. La legitimidad puede interpretarse de varias maneras, entre 
ellas la legitimidad jurídica, legitimidad política, legitimidad moral y 
legitimidad social. Por sí sola, al menos en el contexto de una evaluación 
de impacto social para la introducción de innovaciones, en general por 
legitimidad se entiende legitimidad social; la medida en que una acción 
es aceptable socialmente. 
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Ley común. La legislación y la interpretación de las leyes que existirían 
en una comunidad según se manifiestan a través de las decisiones judi- 
ciales (precedentes) de los jueces. Se puede contrastar con el derecho 
legislado, y está legitimado en países cuyos sistemas jurídicos derivan 
del sistema inglés. Los sistemas continentales europeos (esto es, derecho 
romano y francés o código napoleónico) no reconocen la Ley Comun 
(Common law). De alguna manera, es como un derecho consuetudinario. 
Ley blanda. Se refiere a los procesos informales de control de las acti- 
vidades de una empresa, tal como las normas y directivas de la indus- 
tria. Hace referencia también a acuerdos, convenios, etc. a nivel mundial 
que influyen en las prácticas de las empresas y a la manera en que son 
juzgadas o percibidas. 

LGBT/LGBTIQ. La comunidad de lesbianas, homosexuales, bisexuales, 
transexuales, intersexuales y queer. Algunas variantes de esta sigla en 
inglés incluyen también en duda (questioning). LGBT, LGBT+ y LGBTIQ 
son las siglas inclusivas habituales que se emplean en las discusiones 
sobre la orientación sexual y la identidad de género (SOGI, por sus siglas 
en inglés). Quienes pertenecen a este colectivo se ven con frecuencia 
discriminados, y por consiguiente se encuentran entre los grupos margi- 
nados y vulnerables de la sociedad. 

Licencia ambiental. Permiso administrativo expedido por una autoridad 
competente mediante el cual se autoriza a un operador de una actividad 
productiva u obra de infraestructura a llevar a cabo acciones para las 
cuales se solicita la licencia, si bien quizás dependiendo de si se cumplan 
ciertas condiciones operativas, se respeten ciertos límites de uso y se 
implementen ciertas medidas para contener, minimizar y evitar cualquier 
impacto social o ambiental que la actividad o la obra puedan causar. 
Licencia social para operar. Expresión popular que implica que la acep- 
tación por parte de la comunidad también es necesaria para el éxito de un 
proyecto. 
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Licencia social para operar y crecer. Variante de licencia social para 
operar que pone énfasis en que la aceptación de todos los actores también 
es necesaria para que el negocio se amplíe. 

Línea de base. Situación previa a una intervención, con respecto a la cual 
se puede valorar el progreso o se pueden hacer comparaciones. La línea 
de base se recopila en forma previa a la implementación de un programa 
o política para observar la situación antes. La disponibilidad de datos 
de línea de base es fundamental para documentar el equilibrio en las 
características anteriores al programa entre los grupos de tratamiento y 
de comparación. Los datos de línea de base son necesarios para algunos 
diseños cuasi experimentales. Los datos de una serie de indicadores 
seleccionados que se miden cerca del inicio del proyecto y que permiten 
hacer un monitoreo de un cambio en el tiempo. Se convierten en un punto 
de referencia, junto a otros valores de referencia, frente a los cuales se 
pueden comparar situaciones futuras. Si bien la línea base original refiere 
a un punto específico en el tiempo, el perfil comunitario debería destacar 
tendencias en el zona del proyecto para que se pueda comparar entre lo 
que probablemente hubiera ocurrido con y sin ese proyecto. 

Línea base social. Véase Línea de base. 

Lugar. Espacio geográfico que tiene un significado (sentimiento negativo 
tanto como positivo) para individuos o grupos por experiencias perso- 
nales y/o por las relaciones que estos tienen con aquel. 


Mapa mental. Un diagrama que es una manera de presentar ideas y 
pensamientos; la creación de mapas mentales es un proceso de organiza- 
ción de información e ideas. 

Marco de políticas de reasentamiento. Una política o guía operativa 
para el proyecto acerca de la manera en que deberán abordarse las cues- 
tiones de la adquisición de tierras, reasentamiento, indemnización y recu- 
peración de los medios de vida durante todo el transcurso del proyecto. 
Marco muestral. Lista exhaustiva de las unidades de la población de 
interés. Se requiere un marco muestral adecuado para asegurar que las 
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conclusiones a las que se arribe a partir del análisis de una muestra se 
puedan generalizar a toda la población. Las diferencias entre el marco 
muestral y la población de interés crea un sesgo de cobertura. Ante la 
presencia de dicho sesgo, los resultados de la muestra no tienen validez 
externa para toda la población de interés. 

Marginación. Procesos sociales y económicos que empeoran la situación 
de los grupos minoritarios o vulnerables. 

Mecanismo comunitario de reclamos (Community grievance mecha- 
nism). Específicamente diseñado para que accedan a este los miembros 
de las comunidades afectadas por un proyecto. 

Mecanismo de reclamos. Un proceso formal, judicial o extrajudicial 
para el tratamiento de reclamos, al que pueden acceder individuos, traba- 
jadores, comunidades y entidades de la sociedad civil que han sido perju- 
dicados, o sienten que lo han sido, por las actividades de un proyecto o 
empresa. 

Medio ambiente. Un concepto muy vago que se define de diferentes 
maneras en diferentes circunstancias. En algunas jurisdicciones, incluye 
los ecosistemas y las partes que los constituyen, incluidas las personas y 
las comunidades; recursos naturales y físicos; las calidades y caracterís- 
ticas de las ubicaciones, lugares y áreas; y los aspectos sociales, econó- 
micos, culturales, estéticos y patrimoniales de todos estos elementos. 
En otras jurisdicciones, el medio ambiente se refiere solamente a los 
elementos biofisicos tal como el agua, el aire, el suelo, la flora y la fauna. 
Medio de subsistencia. Un medio de subsistencia comprende las capa- 
cidades, bienes (véase Capitales) y sostenible actividades requeridas 
para un medio de subsistencia. Un medio de vida es sostenible cuando 
puede hacer frente y recuperarse de tensiones y conmociones y mantener 
o mejorar sus capacidades y recursos tanto ahora como en el futuro, sin 
socavar la base de los recursos naturales. 

Medios de subsistencia. Hace referencia al modo de vida de una persona 
o de un hogar y a la manera en que se ganan la vida, en particular el modo 
en que cubren las necesidades básicas, por ejemplo, sus alimentos, agua, 
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abrigo y vestimenta, y viven en comunidad. (Véase Medios de subsis- 
tencia sostenibles). 

Medios de subsistencia alternativos. También llamados oportunidades 
económicas alternativas, se refieren al proceso de identificar, seleccionar 
y desarrollar una variedad de actividades generadoras de ingresos para 
reemplazar o aumentar las actividades corrientes que proporcionan 
medios de subsistencia a las personas afectadas por un proyecto. Esto 
tiene particular importancia en el caso de un desplazamiento económico 
o físico, pero también pueden integrar los programas de creación de bene- 
ficios o de inversión social del proyecto. 

Mejoramiento. Medidas tomadas en el diseño y las fases subsiguientes de 
los proyectos de modo de garantizar la obtención de una amplia variedad 
de resultados directos e indirectos en materia de desarrollo. 

Mejores prácticas (Best practice). El conjunto de lineamientos, ética, 
ideas, procedimientos y métodos que representan la mejor (más adecuada) 
forma de actuar en un sector determinado. Si bien la mejor práctica sería 
la indicada por una asociación profesional, en general el concepto es vago 
y refiere a un punto de referencia que se aspira alcanzar. 

Mentalidad asocial. Actitud según la cual las personas no cuentan, o 
que los problemas sociales no son importantes y no es necesario consi- 
derarlos. 

Mercado emergente. Otra forma de referirse a un país en desarrollo. 
Método cuasi experimental. Métodos de evaluación de impacto que 
no dependen de la asignación aleatoria del tratamiento. Las diferencias 
en diferencias, el diseño de regresión discontinua y el de coincidencia 
(matching) son ejemplos de métodos cuasi experimentales. 

Método de control sintético. Un método de coincidencia (matching) 
específico que permite estimar el impacto en contextos donde una única 
unidad (como un país, una empresa o un hospital) es objeto de una inter- 
vención o es expuesto a un suceso. En lugar de comparar esta unidad 
tratada con un grupo de unidades no tratadas, el método utiliza infor- 
mación sobre las características de la unidad tratada y las unidades no 
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tratadas para construir una unidad de comparación sintética o artifi- 
Cial, ponderando cada unidad no tratada de tal manera que la unidad de 
comparación sintética se parezca todo lo posible a la unidad tratada. Esto 
requiere una larga serie de observaciones a lo largo del tiempo, tanto de 
las características de la unidad tratada como de las unidades no tratadas. 
Esta combinación de unidades de comparación en una unidad sintética 
proporciona una mejor comparación para la unidad tratada que cualquier 
unidad no tratada individualmente. 

Métodos mixtos. Enfoque analítico que combina datos cuantitativos y 
cualitativos. 

Microfinanzas. Variedad de servicios bancarios (en general, la provi- 
sión de pequeños préstamos) para asistir a personas de bajos ingresos (en 
particular mujeres) para establecer pequeñas empresas. Los contratos de 
microfinanzas son muy importantes porque proveen fondos a personas 
que de otra manera no acceden al capital debido al pequeño valor del 
préstamo requerido, sus bajos ingresos, la falta de garantía y antecedentes 
de préstamos muy pobres o no existentes. 

Miedo al delito. Se refiere a un miedo anormal que la gente siente ante la 
posibilidad de ser víctima de un delito. Un cambio rápido en una comu- 
nidad puede incrementar el miedo de las personas a sufrir un delito, en 
modo tal que su miedo sea desproporcionadom con respecto a la posi- 
bilidad real del delito. Es un estado muy debilitante, porque modifica el 
comportamiento de las personas, afecta su sentimiento con relación a su 
comunidad y afecta su bienestar general. 

Minería de datos. Práctica de manipular los datos en busca de resultados 
concretos. 

Mitigabilidad. Capaz de ser mitigado. 

Mitigación. Proceso de concebir e implementar procesos, procedimientos 
y/o cambios a una intervención planeada con el fin de evitar, reducir o 
minimizar, O para compensar, impactos que probablemente ocurran. 
Monitoreo. Proceso continuo de recopilar y analizar información para 
evaluar el desempeño de un proyecto, un programa o una política. El 
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monitoreo suele hacer un seguimiento de los insumos, actividades y 
productos, aunque ocasionalmente también incluye los resultados. Se 
utiliza para fundamentar la gestión y las decisiones diarias. También se 
puede emplear para hacer un seguimiento del desempeño en relación con 
los resultados previstos, establecer comparaciones entre programas y 
analizar las tendencias a lo largo del tiempo. Puede referir a un proceso 
de control de cumplimiento de las condiciones necesarias para obtener 
el consentimiento para llevar a cabo una intervención planeada, pero en 
general hace referencia al proceso de prueba continuo que determina que 
no haya impactos no anticipados. 

Monitoreo participativo. La participación de actores en actividades de 
monitoreo y la verificación de información para garantizar la legitimidad 
del proceso de monitoreo y del proyecto en su conjunto. 

Muestra aleatoria. Muestra extraída a partir de un muestreo probabilís- 
tico, por lo cual cada unidad en el marco muestral tiene una probabilidad 
conocida de ser extraída. Seleccionar una muestra aleatoria es la mejor 
manera de evitar una muestra no representativa. El muestreo aleatorio no 
debería confundirse con la asignación aleatoria. 

Muestra conglomerada. Una muestra compuesta de clústers. 

Muestra estratificada. Se obtiene dividiendo la población de interés 
(marco muestral) en grupos (por ejemplo, hombres y mujeres) y poste- 
riormente, definiendo una muestra aleatoria en cada grupo. Una muestra 
estratificada es una muestra probabilística: todas las unidades de cada 
grupo (o estrato) tienen la misma probabilidad de ser asignadas. Siempre 
que todos los grupos sean lo bastante grandes, el muestreo estratificado 
permite elaborar inferencias a propósito de los resultados no solo a nivel 
de la población sino también dentro de cada grupo. 

Muestra. En Estadística, una muestra es un subconjunto de una pobla- 
ción de interés. Normalmente, la población es muy grande, lo cual hace 
impracticable o imposible realizar un censo o un registro completo de 
todos sus valores. En cambio, los investigadores pueden seleccionar un 
subconjunto representativo de la población (utilizando un marco mues- 
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tral) y recopilar estadisticas sobre la muestra. Estas se pueden utilizar 
para hacer inferencias o para extrapolar a la población. Este proceso se 
conoce como muestreo. Compárese con censo. 

Muestreo. Proceso por el cual las unidades se extraen del marco mues- 
tral creado a partir de la población de interés. Se pueden utilizar diversas 
alternativas de procedimientos de muestreo. Los métodos de muestreo 
probabilístico son los más rigurosos, ya que asignan una probabilidad 
bien definida a cada unidad que será extraída. El muestreo aleatorio, el 
muestreo aleatorio estratificado y el muestreo conglomerado son métodos 
de muestreo probabilístico. El muestreo no probabilístico (por ejemplo, 
el muestreo intencional o por conveniencia) puede generar errores de 
muestreo. 

Muestreo probabilístico. Proceso de muestreo que asigna una probabi- 
lidad bien definida a cada unidad que será extraída de un marco mues- 
tral. Incluye el muestreo aleatorio, el muestreo aleatorio estratificado y el 
muestreo de clusters. 

Multiplicador regional. Término económico que refiere al ratio de la 
magnitud del efecto total sobre la economía regional de un estímulo 
inicial específico (como un proyecto) relativo a la magnitud del impacto 
directo; de otro modo, el alcance de la amplificación de una inversión 
local en una economía local. 

Mundo de la vida. Un concepto (en alemán, Lebenswelt) de las ciencias 
sociales que se refiere a las experiencias vividas por las personas y a sus 
vidas cotidianas. Implica tener en cuenta su perspectiva en el análisis o 
narrativa que se presente. 


NIMBY. Acrónimo que significa no en mi patio trasero” también se lo 
conoce en español como SPAN o sí, pero aqui no. Califica a la reacción 
que se recibe a menudo a la hora de decidir la localización de usos de 
suelos localmente no deseados (LULU, por su acrónimo en inglés), como 
aeropuertos, vertederos, centrales eólicas, etc. 
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Norma. Estándar, convención o resolución que se emplea como refe- 
rencia u objetivo. 

Norma de desempeño. Concepto genérico que articula el estándar 
previsto de una práctica o un logro. En el contexto de una evaluación 
de impacto social para introducción de innovaciones, se refiere normal- 
mente a las Normas de Desempeño sobre Sostenibilidad Ambiental y 
Social de la Corporación Financiera Internacional (CFI). 
Normalización. Intento por evitar que se desarrolle una ciudad indus- 
trial o de que se cree un sistema de valores de una ciudad de crecimiento 
rápido, o por darle a una ciudad industrial una vida comunitaria más 
normal. 

Normativo. En una perspectiva o juicio normativo se afirma como tienen 
que ser las cosas, o como deberían ser, como las valoramos, qué es bueno 
o malo y qué medidas están bien o mal; a menudo en referencia a un prin- 
cipio ético, o se puede decir en referencia a un código o estándar inter- 
nacional que va más allá de los requisitos jurídicos (si fuera requerido 
jurídicamente, no sería un requisito normativo). 


Oficina del Asesor en Cumplimiento/Defensoria. Oficina indepen- 
diente (depende directamente del Presidente de la Corporación Financiera 
Internacional (CFD/Grupo del Banco Mundial) que responde a reclama- 
ciones de aquellos afectados por proyectos financiados por la CFI. Única- 
mente considera si la CFI ha seguido los procedimientos apropiados. 
ONG de control. Una organización no gubernamental (ONG) cuya 
misión u objetivos en particular incluyen una función de monitoreo para 
supervisar las actividades de empresas u otras organizaciones. Estas 
ONG. de control tienden a emplear la estrategia de denuncia y descrédito 
para fomentar el uso de mejores prácticas industriales. 

Organismo regulador. (Autoridad reguladora, entidad reguladora, auto- 
ridad competente) Es la autoridad pública o entidad gubernamental encar- 
gada de la toma de decisiones y supervisión, con función fiscalizadora 
o de control, sobre un área de actividad humana. En el marco de una 
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evaluación de impacto social para la introducción de innovaciones, puede 
ser la Dirección de Medio Ambiente o la Oficina de Planificación. El 
organismo es responsable por determinar la aceptabilidad de una Decla- 
ración de Impacto Ambiental o de un informe de Evaluación de Impacto 
Social y por expedir la licencia para llevar adelante el proyecto. 


Paradigma. Una serie de prácticas, métodos, teorías y entendimientos 
respaldados por una disciplina científica (que la define) en un determi- 
nado momento de la historia. En otras palabras, la visión del mundo 
dentro de un área de investigación; esto es, lo que el conjunto de acadé- 
micos y profesionales que ejercen en un área particular de investigación 
consideran que es buena práctica corriente. 

Participación. Proceso a través del cual los actores influyen y controlan 
las iniciativas de desarrollo y las decisiones y recursos que las afectan. 
Proceso que puede mejorar la calidad, efectividad y sostenibilidad de 
proyectos y fortalecer la propiedad y compromiso del gobierno y los dife- 
rentes grupos interesados. 

Patrimonio cultural. El legado de objetos materiales y las cualidades 
intangibles de un grupo o sociedad que provienen de generaciones pasadas, 
mantenidas en el presente y concedidas para el beneficio de futuras gene- 
raciones. El patrimonio cultural comprende la cultura tangible (edificios, 
monumentos, libros, artesanías y objetos), cultura intangible (folclor, 
tradiciones, lengua y saber tradicional) y patrimonio natural (paisajes 
significativos desde el punto de vista cultural, hábitats importantes para 
la vida silvestre y biodiversidad). 

Patrimonio cultural intangible. Véase Patrimonio cultural. 
Patrimonio vernáculo. La palabra vernáculo remite por lo general al 
idioma cotidiano de la gente común en un lugar determinado. De manera 
similar, patrimonio vernáculo hace referenciaal patrimonio cultural que 
atañe a la vida de la gente común o que es específico de pequeños grupos 
que comparten un idioma o una serie de experiencias comunes. 
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Perfil comunitario. Descripción de las comunidades que probablemente 
se vean afectadas por una intervención planeada. 

Perfil social. Véase Perfil comunitario. 

Periodo de recepción de comentarios públicos. En procesos regulato- 
rios de evaluación de impactos en general se exige que la Declaración de 
Impacto completa esté disponible para permitir que el público comente 
al respecto durante un periodo de tiempo designado (esto es, 30, 45, 60 
o 90 días). 

Personas afectadas. Quienes residen en zonas aledañas y escucharán, 
verán, sentirán u olerán el proyecto propuesto. Se las reubica ya sea volun- 
taria o involuntariamente. Tienen un interés en el proyecto o en cambios de 
política (ya sea que residan o no en zonas de influencia primaria o secun- 
daria) y también en los recursos potencialmente afectados. Es probable 
que usen regularmente la tierra afectada o que las afecte el influjo de 
residentes zafrales, temporarios o permanentes asociados con el proyecto. 
Personas afectadas por el proyecto (PAP). Término de la CFI/Banco 
Mundial que puede a veces significar cualquier persona adversamente 
afectada por un proyecto, pero a veces se refiere principalmente a personas 
que deben reasentarse en otro lugar o que de otro modo han sido despla- 
zadas como resultado de un proyecto. 

Personas interesadas y afectadas. Grupos, organizaciones o individuos 
que creen que una acción podría afectarlos o que se encuentran impli- 
cados en el proceso de decisión (también denominados partes intere- 
sadas. Véase también Personas afectadas). 

Pertenencia. El sentido de pertenecer a un grupo social, que es una nece- 
sidad emocional humana importante. Muchas veces, como consecuencia 
de los proyectos, el sentido de pertenencia se reduce, ya sea por los 
cambios físicos y sociales que ocurren o la presencia de personas nuevas, 
pero también por los procesos que ocurren y que inducen a la alienación. 
PGIS. Plan de Gestión del Impacto Social. 

PIMBY. Acrónimo que en inglés significa “por favor, en mi patio 
trasero”, corresponde a la actitud contraria a NIMBY, es decir, obtener 
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una licencia social para operar de forma que la gente desee que haya 
proyectos en las inmediaciones. 

Plan. Estrategia para alcanzar objetivos identificados o un programa de 
implementación. 

Plan de acción de reasentamiento. Elaborado en línea con el marco de 
políticas de reasentamiento, consiste en una estrategia detallada en cuanto 
a la manera en que se llevará a cabo un proceso de reasentamiento espe- 
cifico. Detalla los procesos de relevar las condiciones iniciales, consultar 
a las personas afectadas, y brinda una estrategia detallada para: (i) mini- 
mizar o evitar el reasentamiento; (ii) indemnizar por las pérdidas; (iii) 
reubicar y reconstruir según sea necesario; (iv) asegurar que se brinde a 
las personas afectadas la oportunidad de mejorar sus ingresos, las activi- 
dades generadoras de ingresos y los niveles de vida que tenían antes de 
que el proyecto las afectara. 

Plan de Gestión de Impacto Social (PGIS). Un documento formal 
y un sistema de gestión asociado que delinea las estrategias a adoptar 
durante las diversas fases de un emprendimiento (incluido el cierre) a fin 
de monitorear, rendir informes, evaluar, examinar y responder de manera 
proactiva al cambio. De algún modo similar a la Declaración de Impacto 
Social, la idea de base de un PGIS consiste en concentrarse en las estrate- 
gias de gestión para abordar los impactos, en lugar de ser solo un listado 
de impactos potenciales. 

Plan de recuperación y mejora de medios de subsistencia. Un plan 
creado como parte de un proceso de reasentamiento para restablecer y 
mejorar los medios de subsistencia de las personas luego de haber sido 
afectadas por un reasentamiento o desplazamiento económico. 
Planificación del cierre. El proceso de planificación y gestión del empla- 
zamiento de un proyecto con miras a la situación posterior al cierre; en 
otras palabras, luego de que se cierra la mina o fábrica. La evaluación de 
impacto social para la introducción de innoavciones realizada de confor- 
midad con las buenas prácticas permite que se incorpore la planificación 


posterior al cierre al proceso de planificación y sea prevista en una fase 
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inicial de la construcción. Esto es muy importante, especialmente en un 
proyecto de mineria donde la volatilidad de los precios de los recursos 
afecta la viabilidad de la mina. 

Planificación posterior. Véase Planificación del cierre. 

Población de interés. Grupo exhaustivo de todas las unidades (como 
individuos, hogares, empresas, centros) elegibles para recibir una inter- 
vención o un tratamiento, y para los cuales una evaluación de impacto se 
propone estimar los impactos del programa. 

Política. Documento elaborado por una organización y que es una decla- 
ración de principios, o una declaración general de metas o de fases proce- 
dimentales acerca de algún aspecto de importancia organizacional. 
Políticas de salvaguardia. Serie de políticas del Banco Mundial que esti- 
pulan el desempeño ambiental y social. 

Políticas de salvaguardia del Banco Mundial. Serie de 10 políticas de 
salvaguardia identificadas por el Banco Mundial como importantes a la 
hora de garantizar que sus operaciones no perjudiquen a las personas o al 
medio ambiente: Evaluación ambiental (OP 4.01); Zonas en disputa (OP 
7.60); Bosques (OP 4.36); Pueblos indígenas (OP 4.10); Cursos de agua 
internacionales (OP 7.50); Reasentamiento involuntario (OP 4.12); Hábi- 
tats naturales (OP 4.04); Control de plagas (OP 4.09); Recursos culturales 
físicos (OP 4.11); y Seguridad de las presas (OP 4.37). 

Políticas de salvaguardia social del Banco Mundial. Un subgrupo 
de políticas de salvaguardia (véase arriba) específicas sobre cuestiones 
sociales (o que las gestiona el Departamento de Desarrollo Social del 
Banco) y que comprende: Pueblos indígenas (OP 4.10) y Reasentamiento 
involuntario (OP 4.12). 

Potencia (o potencia estadística). Probabilidad de que una evaluación 
de impacto detecte un impacto (es decir, una diferencia entre el grupo 
de tratamiento y el grupo de comparación) cuando, de hecho, hay un 
impacto. La potencia es igual a 1 menos la probabilidad de un error de 
tipo II, que oscila entre 0 y 1. Los niveles habituales de potencia son 0,8 
y 0,9. Los niveles altos de potencia son más conservadores, lo que signi- 
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fica que hay una baja probabilidad de no detectar los impactos reales del 
programa. 

Potencia estadistica. La potencia de una prueba estadistica es la proba- 
bilidad de que la prueba rechace la hipótesis nula cuando la hipótesis 
alternativa es verdadera (es decir, que no se cometerá un error de tipo II). 
A medida que la potencia aumenta, la probabilidad de un error de tipo II 
disminuye. La probabilidad de un error de tipo II se denomina tasa nega- 
tiva falsa (B). Por lo tanto, la potencia es igual a 1 - B. 

Práctica avanzada. En realidad es lo mismo que las mejores prácticas, 
pero quizás con la idea de que lo que es avanzado siempre cambia, y 
por consiguiente es un concepto relativo. Tiende a hacer referencia a una 
actitud de una empresa (que sea una organización que emplee prácticas 
avanzadas) más que a una propiedad de la práctica. 

Predicción. Tarea de identificar posibles impactos futuros para una inter- 
vención planeada. 

Principios del Ecuador. Marco de principios en materia de sosteni- 
bilidad y responsabilidad social corporativa en el sector financiero global. 
Más específicamente, es un marco de gestión de riesgo que entidades 
financieras (esto es, bancos) han adoptado para determinar, evaluar y 
gestionar el riesgo social y ambiental en proyectos en cualquier parte del 
mundo y para todos los sectores industriales. Su principal propósito es 
brindar un estándar mínimo para que se realicen procedimientos de debida 
diligencia en la toma de decisiones responsable sobre riesgos. Los bancos 
que han adherido a estos principios se comprometen a implementarlos en 
sus normas ambientales y sociales internas, procedimientos y estándares 
para financiar proyectos y acuerdan “no ofrecer financiación de proyectos 
ni préstamos corporativos vinculados a proyectos; cuando el cliente no 
cumpla, o no tenga la capacidad de cumplir los Principios de Ecuador”. 
En esencia, los Principios de Ecuador constituyen una serie de principios 
de alto nivel; para obtener los lineamientos operativos, los Principios de 
Ecuador requieren que se cumplan las Normas de Desempeño de la CFI. 
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Principios Rectores. Tiende a hacer referencia a los Principios Rectores 
de las Naciones Unidas sobre las Empresas y los Derechos Humanos. 
Principios voluntarios. En el marco de una evaluación de impacto social 
para la introducción de innovaciones, generalmente refieren a los Princi- 
pios voluntarios de seguridad y derechos humanos. 

Proceso de cambio social. Un proceso de cambio identificable en comu- 
nidades afectadas por proyectos, que es creado, iniciado, habilitado, faci- 
litado y/o exacerbado por medio de una intervención planeada. El proceso 
de cambio social no es en sí mismo un impacto social, pero podría o 
no conducir a una situación de impactos sociales, lo cual dependerá 
del contexto local. Por ejemplo, la inmigración y el reasentamiento son 
procesos de cambio social que pueden o no provocar impactos sociales. 
Proceso de concesión. El proceso mediante el cual un operador obtiene 
una licencia o permiso en materia de licencias medioambiental, y el 
proceso por el cual el organismo regulador determina si debe otorgarse. 
Proceso de obtención de permiso. Proceso regulatorio que consiste en 
evaluar y aprobar un proyecto. (Véase también Licencia ambiental) 
Proceso de resolución de controversias. Un concepto relacionado con 
acuerdos y contratos (y que con frecuencia constituye una cláusula de 
ellos), ligado a lo que sucederá si se produce un desacuerdo acerca de la 
interpretación del contrato/acuerdo o un desacuerdo entre las partes del 
acuerdo. Es diferente de un mecanismo de reclamos. 

Producto. Productos, bienes y servicios tangibles producidos (suminis- 
trados) directamente por las actividades de un programa. La generación 
de productos está directamente bajo el control del organismo ejecutor del 
programa. El uso de los productos por parte de los beneficiarios contri- 
buye a cambios en los resultados. En evaluación, lógica de programas y 
gestión de proyectos, el programa entrega productos. El concepto que 
importa es que los productos rara vez son los resultados previstos, única- 
mente constituyen un paso hacia alcanzarlos. 
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Profanización. Proceso por el cual objetos sagrados pasan a ser ordina- 
rios (profanos). La exposición a otras culturas, y especialmente la venta 
de objetos culturales, los hace perder su valor sagrado. 

Programa. Plan coherente y organizado o conjunto ordenado de compro- 
misos, propuestas, instrumentos y/o actividades que describe e imple- 
menta una política y que, a la larga, enmarcará a varios proyectos. 
Promoción aleatoria. Método de variables instrumentales para estimar 
los impactos de un programa. El método asigna de forma aleatoria a un 
subgrupo de unidades una promoción, o incentivo, para participar en el 
programa. La promoción aleatoria busca aumentar la participación volun- 
taria en un programa en una submuestra de la mpoblación seleccionada 
aleatoriamente. La promoción puede adoptar la forma de un incentivo, 
estímulo o información adicional que motiva a las unidades a inscribirse 
en el programa, sin influir directamente en el resultado de interés. De esta 
manera, el programa puede quedar abierto a todas las unidades elegibles. 
Propensión por coincidencia de puntajes (PSM. Propensity Score 
Matching). Método de coincidencia (matching) o pareamiento que depende 
de los puntajes de propensión para encontrar el mejor grupo de com- 
paración posible para un determinado grupo de tratamiento. 

Propensión de puntaje. En el contexto de la evaluación de impacto, la 
propensión de puntaje es la probabilidad de que una unidad participe en el 
programa sobre la base de las características observables. Esta puntuación 
es un numero real entre 0 y 1 que resume la influencia de todas las carac- 
terísticas observables en la probabilidad de inscribirse en el programa. 
Propietarios tradicionales. Un término que se utiliza en Australia para 
designar los pueblos indígenas que tienen el reclamo válido de ser consi- 
derados dueños de la tierra en virtud de un título autóctono. 
Proponente. En el marco de una evaluación de impacto social (EIS), las 
proyecciones refieren a las estimaciones, extrapolaciones, predicciones 
o pronósticos sobre el estado futuro de una o más variables del impacto 
social en consideración. 
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Proyección. En el marco de una evaluación de impacto social (EIS), las 
proyecciones refieren a las estimaciones, extrapolaciones, predicciones 
o pronósticos sobre el estado futuro de una o más variables del impacto 
social en consideración. 

Proyecto (Project). Un emprendimiento de inversión propuesto que por 
lo general conlleva la planificación, el diseño y la implementación de 
actividades específicas. 

Proyecto totalmente nuevo (“Terreno verde”). Proyecto nuevo, que 
tiene lugar donde no hubo desarrollo previo; dicho de otro modo, que no 
implica cuestiones heredadas. 

Proyectos lineales. Proyectos como oleoductos o gasoductos, autopistas, 
ferrocarriles, líneas de transmisión y sistemas de riego que afectan una 
franja angosta de terreno pero se extienden por muchos kilómetros. 
Prueba de placebo. Prueba falsificada que se utiliza para evaluar si los 
supuestos de un método se mantienen. Por ejemplo, cuando se aplica el 
método de diferencias en diferencias, se puede implementar una prueba 
de placebo utilizando un grupo de tratamiento falso o un resultado falso, 
es decir: un grupo o resultado que se sabe que no se ve afectado por el 
programa. Las pruebas de placebo no pueden confirmar que los supuestos 
sean válidos, pero pueden poner de manifiesto los casos en que los 
supuestos no se sostienen. 

Prueba de significancia. Prueba de si la hipótesis alternativa alcanza el 
nivel predeterminado de significancia con el fin de que esta se acepte de 
preferencia a la hipótesis nula. Si una prueba de significancia da un valor 
p menor que el nivel de significancia estadística (a), la hipótesis nula es 
rechazada. 

Pueblo indígena. A grandes rasgos se lo define como un grupo social 
y cultural distinto y que manifiesta en alguna medida las siguientes 
características: autoidentificación como miembro de un grupo cultural 
distinto y reconocimiento de esta identidad por otros; vínculo colectivo 
con un hábitat determinado geográficamente o territorio ancestral y a los 


recursos naturales que allí se encuentran; instituciones culturales, econó- 
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micas social y/o politicas habituales diferentes de las de la sociedad o 
cultura dominante; una lengua que a menudo difiere de la lengua oficial 
del pais o de la region. 

Punto de referencia. Norma de comparación. Para cada indicador social 
seleccionado para hacer monitoreo, se debería identificar algún estándar o 
valor que pueda emplearse como referencia. Por ejemplo, una referencia 
podrá ser los niveles aceptables para la OMS en materia de contamina- 
ción del aire o exposición al ruido, o la cantidad esperada de médicos por 
mil habitantes. 

PYMES (SME). Pequeñas a medianas empresas, su definición varía 
de un país a otro según los criterios sobre la cantidad de trabajadores o 
los ingresos anuales. Cuando se trata exclusivamente de empresas muy 
pequeñas o unipersonales, microempresa es el término que se emplea. 
Las PYMES son importantes en una evaluación de impacto social para 
la introducción de innovaciones, ya que a menudo están dispersas, desor- 
ganizadas y con frecuencia se ven afectadas por los proyectos. Con la 
debida consideración, también pueden tener una gran participación activa 
a través de un compromiso a realizar las adquisiciones en el ámbito local. 


Reasentamiento. El proceso planificado de reubicar personas y comu- 
nidades de un lugar a otro como parte de la adquisición de tierras, indu- 
cida por el proyecto, necesaria para que se pueda ejecutar un proyecto. 
El reasentamiento se considera involuntario cuando el lugar del proyecto 
es fijo y las comunidades locales realmente no tienen otra opción que 
ser reubicados; mientras que el reasentamiento se considera voluntario 
cuando el Estado no ejerce ni amenaza con ejercer el derecho de expro- 
piación, ni se percibe una tal amenaza, y los individuos afectados tienen 
una oportunidad real con respecto a si aceptan o no su reasentamiento. 

Reasentamiento involuntario. El reasentamiento de personas en 
razón de un proyecto, en situaciones en las que el Estado ha ejercido o 
amenazado con ejercer su facultad de dominio eminente. Véase también 


Reasentamiento) 
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Reasentamiento voluntario. Véase Reasentamiento. 

Recién llegados. Residentes que llegan a instalarse en un determinado 
lugar. 

Regalía. En términos generales, una regalía es lo que paga una parte (el 
licenciatario) a otra parte (el licenciante) por el derecho de uso conti- 
nuado de un bien. En el marco de una evaluación de impacto social para 
la introducción de innovaciones! as regalías son pagos que las empresas 
dedicadas a la extracción de recursos realizan a los gobiernos y/o a los 
propietarios Tradicionales de las tierras para acceder a los recursos que 
se extraen. 

Registro de compromisos. Un documento público formal que registra 
toda declaración o promesa de la empresa a la comunidad especialmente 
en relación con cualquier beneficio o mitigación prometido. 
Rehabilitación. En la evaluación de impactos, hace referencia en general 
a retrotraer el paisaje al estado en que se encontraba antes del proyecto 
(restauración), o cuando esto no es posible, al menos hacer que el paisaje 
resulte aceptable para la gente (recuperación). En minería, por ejemplo, 
se refiere al reemplazo de las capas del suelo y a la revegetación de la 
tierra. 

Residentes de larga data. Hace referencia a los que residen desde hace 
tiempo en un lugar, se emplea en contraste a los recién llegados. Los inte- 
reses de los veteranos a menudo difieren de los de los nuevos. 
Resiliencia. Capacidad de una comunidad para recuperarse de los 
impactos que la amenazan. 

Resistencia. Capacidad de una comunidad para resistir el cambio, ser 
capaz de resistirse frente a un proyecto de desarrollo injustificado. 
Resolución/gestión de conflictos. Las intervenciones a menudo modi- 
fican las relaciones de poder entre los diferentes grupos de la sociedad. 
Algunos grupos pueden perder mientras otros ganan, y como consecuencia 
pueden surgir conflictos. Los conflictos son un componente normal de 
la interacción social, pero cuando se vuelven problemáticos ejercen un 
impacto negativo sobre todas las partes intervinientes. Por consiguiente, 


412 


GLOSARIO 


se hace necesario contar con mecanismos y técnicas eficaces para la 
prevención, manejo y resolución de los conflictos, de modo de solucio- 
narlos o de mantenerlos dentro de límites aceptables. La transparencia 
y el intercambio de información pueden contribuir a eliminar conflictos 
provocados por un conocimiento incompleto o distorsionado. La acepta- 
ción y la implementación de un amplio espacio para la expresión de dife- 
rentes puntos de vista pueden ayudar a prevenir el desarrollo de formas 
más destructivas de conflicto. 

Restauración del paisaje. Véase Rehabilitación 

Resultado. Resultado de interés que se mide a nivel de los beneficiarios 
del programa. Resultados que deben alcanzarse una vez que la población 
beneficiaria utilice los productos del proyecto. Los resultados no están 
directamente bajo el control de un organismo ejecutor del programa. En 
ellos influye tanto la implementación de un programa (las actividades y 
productos que genera) como las respuestas de las conductas de los bene- 
ficiarios expuestos a ese programa (el uso que los beneficiarios hacen de 
los beneficios a los que están expuestos). Un resultado puede ser inter- 
medio o final (de largo plazo). Los resultados finales son resultados más 
distantes. La distancia se puede interpretar en términos de tiempo (se tarda 
más en conseguir el resultado) o en términos de causalidad (se requieren 
numerosos vínculos causales para alcanzar el resultado y en ello influyen 
múltiples factores). Lo que se espera que logre una intervención especí- 
fica en el ámbito del desarrollo. 

Retorno social sobre la inversión. Metodología para calcular el bene- 
ficio adicional más allá del retorno de inversión financiero inmediato 
en proyectos o actividades, por ejemplo, de la financiación en inversión 
social. Generalmente se expresa como proporción relativa a los recursos 
invertidos. 

Riesgo. Puede significar la probabilidad de que se produzca algún aconte- 
cimiento, pero el término puede emplearse con un significado levemente 
diferente para hacer referencia a un suceso incierto (o probabilidad desco- 
nocida) que, si ocurre, afectará la concreción de uno o más objetivos. A 


413 


GLOSARIO 


menudo se crean subcategorias de riesgos. Por ejemplo, los riesgos no 
técnicos (o riesgos sociales) se relacionan con cuestiones administrativas, 
jurídicas, sociales y políticas de un proyecto; mientras que los riesgos 
técnicos son los aspectos físicos, estructurales, ingenieriles y medioam- 
bientales. 

Riesgo reputacional. El riesgo potencial para la reputación de una orga- 
nización, al vincularse o ser vinculada con una práctica en particular. 
Riesgo social. El Banco Mundial define el riesgo social como “la posibi- 
lidad de que la intervención cree, refuerce o profundice la desigualdad o 
el conflicto social o ambos, o de que las actitudes y acciones de los prin- 
cipales interesados puedan subvertir el logro del objetivo de desarrollo 
o de que los principales interesados no asuman la responsabilidad por el 
logro del objetivo de desarrollo ni cuenten con los medios para lograrlo. 
Tales riesgos pueden surgir del contexto sociocultural, político, opera- 
tivo o institucional”. 

Riesgos no técnicos. Están relacionados con la gestión y los aspectos 
jurídicos, sociales y políticos de un proyecto. En el sector industrial, a 
veces se los denomina riesgos externos ya que ocurren como resultado de 
circunstancias ajenas al control de los directores de proyectos. 
Rito/ritual. Acto ceremonial que es expresión de cultura y comunidad. 


Saber y hacer saber. Una frase popularizada por John Ruggie. En lugar 
de ser vulnerables y quedar expuestas a las campañas de denuncia y 
descrédito, las empresas deberían demostrar que han internalizado su 
respeto por los derechos humanos, a través de su compromiso con los 
procesos de debida diligencia. 

Sabotaje. Un acto deliberado destinado a perjudicar a una empresa por 
medio de obstrucción, perturbación o destrucción. Las partes intere- 
sadas damnificadas podrían ejercer una acción directa contra un proyecto 
bloqueándolo o destruyendo equipos ya sea en un intento por atraer publi- 
cidad, retrasar el proyecto o simplemente por venganza. 

Sagrado. Que tiene significancia espiritual o religiosa. 
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Salud mental. En pocas palabras, es el nivel de bienestar psicológico y 
la ausencia de cualquier trastorno mental. Comprende la habilidad de un 
individuo de disfrutar de la vida, así como su bienestar subjetivo, auto- 
eficacia percibida, autonomía, competencia y desarrollo personal de su 
potencial intelectual y emocional. 

Seguidores. Este término en general refiere a los civiles que siguen 
ejércitos, que usualmente satisfacen las necesidades de los soldados 
con bienes y servicios no provistos por las autoridades militares, esto 
es, determinados alimentos, lavado de ropa, alcohol y drogas, cuidado 
de enfermos y servicios sexuales. En su empleo actual más generalizado 
describe a aquellos empresarios que acosan de servicios a los obreros 
en campamentos de construcción y terrenos de proyectos. (Véase Efecto 
tarro de miel) 

Seguridad socialmente responsable. Forma de brindar servicios de 
seguridad en torno a un proyecto atendiendo a los derechos humanos y 
otras cuestiones sociales, y que probablemente esté en consonancia con 
los Principios voluntarios de seguridad y derechos humanos. 

Selección. Se produce cuando la participación en el programa se basa en 
las preferen cias, decisiones o características no observables de los parti- 
cipantes o de los administradores del programa. 

Sensibilidad cultural. Cualidad individual de tener conciencia de dife- 
rencias culturales y de saber cómo manejarse en situaciones multicultu- 
rales. Muchos impactos sociales surgen por falta de sensibilidad cultural 
de gran parte del personal del proyecto. 

Sentido comunitario. El grado de noción que los individuos de un deter- 
minado lugar tienen de formar parte de una comunidad, y de ayudar 
a través de la participación en actividades comunitarias y de ser buen 
vecino (esto es, ejercer la buena vecindad). 

Sentido de comunidad. Véase Sentido comunitario. 

Sentido de pertenencia. Una relación personal de un individuo con 
su entorno local, tanto social como natural, que mantiene en su vida 
cotidiana. 
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Servicios del ecosistema. La noción de que el medio ambiente (un 
ecosistema) provee una variedad de servicios (y productos) de los cuales 
dependen los seres humanos. Por lo general, estos servicios se identi- 
fican como: aprovisionamiento (por ejemplo, la producción de alimentos 
y agua); regulación (por ejemplo, el control del clima y de las enferme- 
dades); secundarios (por ejemplo, los ciclos de los nutrientes y la polini- 
zación de los cultivos); y culturales (por ejemplo, beneficios espirituales 
y recreativos). Para ayudar a informar a los responsables de la toma de 
decisiones, frecuentemente se asigna a los servicios del ecosistema un 
valor económico. 

Sesgo. En la evaluación de impacto, el sesgo es la diferencia entre el 
impacto que se calcula y el verdadero impacto del programa. 

Sesgo de cobertura. Se produce cuando un marco muestral no coincide 
exactamente con la población de interés. 

Sesgo de selección. El impacto estimado sufre un sesgo de selección 
cuando se desvía del impacto verdadero en presencia de la selección. Esto 
suele ocurrir cuando se correlacionan motivos no observados para parti- 
cipar en el programa con los resultados. Este sesgo normalmente acon- 
tece cuando el grupo de comparación es no elegible o se autoexcluye del 
tratamiento. 

Sesgo de sustitución. Efecto no intencionado de la conducta que afecta 
al grupo de comparación. Las unidades que no fueron seleccionadas para 
recibir el programa pueden encontrar buenos sustitutos para el tratamiento 
a través de su propia iniciativa. 

Significancia. La significancia estadística señala la probabilidad de 
cometer un error de tipo I; es decir, la probabilidad de detectar un impacto 
que en realidad no existe. El nivel de significancia suele señalarse con el 
símbolo griego a (alfa). Los niveles más habituales de significancia son 
del 10%, 5% y 1%. Cuanto menor sea el nivel de significancia, mayor 
será la confianza de que el impacto estimado es real. Por ejemplo, si el 


nivel de significancia se fija en 5%, se puede tener un 95% de confianza 
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al concluir que el programa ha tenido impacto, si de hecho se observa un 
impacto significativo. 

Simulaciones ex ante. Evaluaciones que utilizan datos disponibles para 
simular los efectos previstos de un programa o de la reforma de una poli- 
tica en los resultados de interés. 

Sistema de gestión ambiental. Serie de actividades continuas y 
planeadas, basadas en el concepto de mejora continua, que una empresa 
lleva a cabo para gestionar mejor sus impactos ambientales. Está estipu- 
lada por la norma ISO 14001. 

Sistema de gestión social. Sistema de gestión que específicamente 
aborda los problemas sociales en una empresa o proyecto. 

Sistema de tenencia de tierras. Las disposiciones legales por las cuales 
se establecen formalmente la propiedad de la tierra y todo proceso para la 
transferencia intergeneracional o venta de la propiedad de la tierra. 

Sitio sagrado. Un sitio (lugar en un paisaje) con un significado espiritual 
especial para la población local. Aunque se lo asocia habitualmente con 
los pueblos indígenas, podría aplicarse en un sentido más amplio para 
referirse a otros lugares y santuarios espirituales y religiosos con una gran 
significación de patrimonio cultural. 

Situación de calle. La situación personal de no tener una vivienda, de no 
tener un lugar permanente donde estar. En un nivel, puede estar referido 
a personas sin domicilio fijo que dependen de los servicios de vivienda 
de emergencia y que de lo contrario dormirían en las calles (es decir, 
dormir a la intemperie); en otro nivel, puede significar un sentimiento de 
alienación tal que aunque pueda haber un lugar de residencia físicamente 
adecuado, otros elementos emocionales ligados a él significan que no se 
lo percibe como un hogar. 

Sociedad civil. La red de individuos y grupos (tanto formal como 
informal) y sus conexiones, prácticas y normas sociales- que comprenden 
las actividades de una sociedad independientemente de las instituciones 
estatales y del mercado. Incluye organizaciones religiosas, grupos comu- 
nitarios, fundaciones, gremios, asociaciones profesionales, sindicatos, 
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instituciones académicas, medios de comunicación, grupos de presión o 
activistas, partidos políticos, etc. 

Subsistencia. Este concepto se encuentra en términos como economía 
de subsistencia, medios de vida para subsistencia, agricultura de subsis- 
tencia, pesca de subsistencia y minería de subsistencia (esto es, minería 
artesanal). Se refiere a la economía informal o no mercantil (en vez de la 
economía monetaria) en la cual las personas producen sus propios bienes 
y servicios o los intercambian en trueques y no por efectivo 

Supuesto de estabilidad del valor de la unidad de tratamiento 
(SUTVA). Requisito básico de que el resultado de una unidad no debería 
verse afectado por la asignación del tratamiento a otras unidades. Esto 
es necesario para asegurar que la asignación aleatoria produzca estima- 
ciones de impacto no sesgadas. 


Tabú. Algo que está culturalmente prohibido. Los proyectos a menudo 
transgreden tabúes por desconocimiento, generando mucho agravio. 
Tamaño del efecto. Magnitud del cambio en un resultado, que es cau- 
sado por una intervención. 

Tecnocrático. Un término peyorativo que hace referencia a personas e 
instituciones que poseen excelentes conocimientos técnicos pero carecen 
de conciencia social y comprensión social; y en particular que toman 
decisiones sobre la base de su conocimiento técnico, sin prestar la debida 
atención al contexto social y político. 

Teoría del cambio. Explica los canales a través de los cuales los programas 
pueden influir en los resultados finales. Describe la lógica causal de cómo 
y por qué un programa, una modalidad de programa o una innovación 
de diseño en particular logrará sus resultados deseados. Una teoría del 
cambio es una pieza clave en cualquier evaluación de impacto, dada la 
focalización de causa y efecto de la investigación. 

Titular de derechos. Individuos y grupos cuyos derechos han sufrido un 
impacto. Podría incluir a todas las partes interesadas. El término es en 
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realidad similar a parte interesada pero el empleo de titular de derechos 
implica una conexión con el enfoque basado en los derechos humanos 
y una conciencia precisa de que estas personas podrían tener capacidad 
jurídica. 

Tratamiento. Véase intervención. 

Tratamiento en los tratados (TOT, por sus siglas en inglés). Las estima- 
ciones TOT miden la diferencia en los resultados entre las unidades que 
en efecto reciben el tratamiento y el grupo de comparación. 


Unidad. Persona, hogar, comunidad, empresa, escuela, hospital u otra 
unidad de observación que pueda ser objeto de un programa o verse afec- 
tada por él. 


Validez externa. Una evaluación es externamente válida si la muestra de 
la evaluación representa con precisión a la población de unidades elegi- 
bles. Los resultados de la evaluación, posteriormente, se pueden genera- 
lizar a la población de unidades elegibles. Estadísticamente, para que una 
evaluación de impacto sea externamente válida, la muestra de la evalua- 
ción debe ser representativa de la población de interés. Véase también 
validez interna. 

Validez interna. Una evaluación es internamente válida si proporciona 
una estimación precisa del contrafactual mediante un grupo de compara- 
ción válido. 

Valor compartido. Una manera de pensar acerca del rol de una empresa, 
que reconoce que son las necesidades de la sociedad, y no solo las necesi- 
dades económicas convencionales, las que definen los mercados, y que el 
objetivo de la empresa debe definirse como la creación de valor compar- 
tido y no solo utilidades, de modo que la sociedad se beneficie tanto como 
la empresa. Esta visión también contempla que los perjuicios sociales 
generan frecuentemente costos para las empresas, en forma de riesgos 
sociales, y por consiguiente deben manejarse cuidadosamente. 
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Valor intrínseco. Concepto filosófico según el cual un objeto o entidad 
(como la naturaleza, un lugar determinado, una especie rara) tiene un 
valor o calidad inherente más allá de su valor de uso o instrumental para 
los humanos. 

Valores. Suposiciones abstractas y a menudo subconscientes que los indi- 
viduos hacen acerca de lo que está bien o tiene importancia en sus vidas. 
Por lo general, se organizan en un sistema de valores. Los valores y los 
sistemas de valores pueden variar sustancialmente de un grupo cultural 
a otro. 

Variable. En la terminología estadística, se trata de un símbolo que repre- 
senta un valor que puede variar. 

Variable dependiente. Normalmente, es la variable de resultado. Se trata 
de la variable que hay que explicar, por oposición a las variables expli- 
cativas. 

Variable explicativa. También conocida como variable “independiente”. 
Se trata de una variable utilizada en el lado derecho de una regresión 
para ayudar a explicar la variable dependiente en el lado izquierdo de la 
regresión. 

Variable instrumental (VI). También conocida como instrumento. Se 
basa en el uso de una fuente externa de variación para determinar la 
probabilidad de participación en el programa cuando la participación en 
el mismo está relacionada con los resultados potenciales. El instrumento 
se encuentra fuera del control de los participantes y no tiene relación con 
las características de los mismos. 

Variables no observadas. Se trata de características no observables. 
Pueden incluir particularidades como la motivación, las preferencias u 
otros rasgos de la personalidad que son difíciles de medir. 

Vías causales. Un concepto vinculado con el de pensamiento sistémico y 
el de evaluación. Refiere a las relaciones causales (al menos a las corre- 
laciones) entre diversos elementos dentro de un sistema. En una evalua- 


ción de impacto social para introducción de innovacioens, refieren a las 
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secuencias de las experiencias de impactos primarios y secundarios y 
entre los procesos de cambio social y los impactos sociales. 

Vías o cadenas de impacto. Se refiere a los vínculos entre los impactos 
primarios (impactos de primer orden) y los impactos secundarios; así 
como a los vínculos entre los procesos de cambio social tal como la inmi- 
gración. 

Visión comunitaria. Proceso de crear consenso sobre el futuro que la 
comunidad quiere, y luego decidir sobre lo que sea necesario para alcan- 
zarlo. Es tanto el proceso de creación de una visión como el producto de 
esa visión. 

Viviendas de fin de semana. Moradas de personas quienes durante los 
fines de semana y vacaciones se trasladan a sus segundos hogares. A 
veces el término también se usa para referirse a las casas. A menudo son 
un elemento importante en las evaluaciones de impacto social de intro- 
ducción de innovaciones, pero acceder a ellos es difícil. Algunas veces 
los proyectos los afectan adversamente pero sus problemas son diferentes 
de los del resto de la comunidad afectada. 

Vulnerabilidad. Una situación o estado caracterizado por una baja 
resistencia o un mayor riesgo y la capacidad reducida de un individuo, 
grupo o comunidad de hacer frente a conmociones o impactos adversos. 
La vulnerabilidad está asociada con una situación socioeconómica baja, 
incapacidad, etnicidad o uno o más de los muchos factores que influyen 
en la capacidad de las personas para acceder a los recursos y a las opor- 
tunidades de desarrollo. 


Zona de influencia o del proyecto. Comprende: el(los) emplazamien- 
to(s) principal(es) del proyecto e instalaciones relacionadas que un propo- 
nente (o sus contratistas) desarrolla o controla; instalaciones asociadas 
construidas como resultado del proyecto (incluso si no fueran financiadas 
directamente por el proyecto sino por un cliente o un tercero, que puede 
ser el gobierno), y cuya viabilidad y existencia depende exclusivamente 
del proyecto y cuyos bienes y servicios son esenciales para la opera- 
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ción exitosa del proyecto; áreas potencialmente afectadas por impactos 
acumulativos de otro emprendimiento planeado del proyecto; y áreas 
potencialmente afectadas por impactos que surgen de acontecimientos no 
planeados pero predecibles causados por el proyecto y que pueden ocurrir 
posteriormente o en otro emplazamiento. 

Zona de influencia primaria. Se refiere a los impactos sociales que 
ocurren en una zona de influencia primaria por la medida propuesta y que 


tienen lugar en el mismo momento y lugar. 
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